動察 Beating AI 快訊,清華大學副教授代季峰創辦的 NaiveAI 發佈 Naive-N0.5-Flash,並開放模型權重。模型基於小米 MiMo-V2.5 Base 改造,使用 MIT 協議開源。
NaiveAI 保留了原有的 MoE 架構,重點改了注意力機制。團隊把全局注意力換成滑動窗口注意力和 DeepSeek 稀疏注意力,再繼續訓練 3.25 萬億 tokens。改造後的模型原生支持 100 萬 token 上下文,可以減少處理超長文本時的計算量。
AI 也直接參與了研發。它負責寫代碼、跑實驗、分析結果和繼續優化,研究員負責定方向和做關鍵決定。以推理系統 NaiveRT 為例,團隊 6 天跑了 151 輪優化實驗,其中 63 輪被採用。
官方公佈的最高推理速度為 2122 tok/s,但測試條件比較特殊:使用 8 張 GPU,關閉思考模式,不計算輸入處理時間,而且取的是 41 次請求中表現最好的一秒。標準模式下,官方給出的速度約為每位用戶 50 tok/s。