跳到主要內容
727財經
繁體中文

代季峰NaiveAI首模開源:AI參與6天跑151輪優化

動察 Beating AI 快訊,清華大學副教授代季峰創辦的 NaiveAI 發佈 Naive-N0.5-Flash,並開放模型權重。模型基於小米 MiMo-V2.5 Base 改造,使用 MIT 協議開源。

NaiveAI 保留了原有的 MoE 架構,重點改了注意力機制。團隊把全局注意力換成滑動窗口注意力和 DeepSeek 稀疏注意力,再繼續訓練 3.25 萬億 tokens。改造後的模型原生支持 100 萬 token 上下文,可以減少處理超長文本時的計算量。

AI 也直接參與了研發。它負責寫代碼、跑實驗、分析結果和繼續優化,研究員負責定方向和做關鍵決定。以推理系統 NaiveRT 為例,團隊 6 天跑了 151 輪優化實驗,其中 63 輪被採用。

官方公佈的最高推理速度為 2122 tok/s,但測試條件比較特殊:使用 8 張 GPU,關閉思考模式,不計算輸入處理時間,而且取的是 41 次請求中表現最好的一秒。標準模式下,官方給出的速度約為每位用戶 50 tok/s。

相關資訊

  1. 幣安新增恢復ZEC、TON和SUI網絡提現

  2. 何一:幣安預測市場錢包審計仍在進行,部分熱錢包或被誤計為流出

  3. 數據:BTW、KITE等代幣下周將迎來大額解鎖,其中BTW解鎖價值約1.14億美元

    PANews 11月1日消息,Token Unlocks數據顯示,BTW、KITE、ENA、MMT和AVAX代幣下周將迎來大額解鎖,其中: Bitway(BTW)將於北京時間11月2日下午4點解鎖約1.01億枚代幣,與...

  4. 幣安新增恢復Polygon和Avalanche網絡提現

  5. 一周預告 | 美國中期選舉、非農數據、蘋果財報來襲;Bitway(BTW)解鎖價值上億美元代幣

    ・一周預告 | 美國中期選舉、非農數據、蘋果財報來襲;Bitway(BTW)解鎖價值上億美元代幣