小米承認MiMo-V2.6會「原地復讀」：RL把壞習慣越訓越嚴重，9萬美元修復

動察 Beating AI 快訊，小米 MiMo 團隊復盤了 MiMo-V2.6 上線後的工具調用重復問題。模型有時會反復調用相同或高度相似的工具，持續消耗上下文，但任務沒有進展。在 OpenCode 中，Flash 和 Pro 出現重復工具調用的回復佔比一度分別達到 1.02% 和 0.54%。

問題出在強化學習的獎勵設計。訓練主要獎勵「最後有沒有把任務做對」，卻沒有充分懲罰過程中的低效行為。原來的規則只有單輪工具調用超過 32 次才會處罰，32 次以下的重復調用完全不扣分。隨著 RL 規模擴大，這種壞習慣反而被不斷強化。小米回放訓練 checkpoint 後發現，Flash 中單輪調用超過 10 次的異常樣本比例從 step 0 的 11.1% 增至 step 20 的 24.6%。

最直接的辦法是把懲罰閾值從 32 次降到 8 次，再重跑約 20 個 MixRL step，但預計要花 231 萬美元。小米最終只訓練了一個專門糾正重復調用的 RL teacher，跑 12 個 step、約 7000 個樣本，再通過 MOPD 把這項能力合回 Pro 和 Flash。整輪修復約花 9 萬美元，只有完整重訓方案的約 4%，其他主要 benchmark 基本保持不變。

修復後的 MiMo-V2.6-Pro-MOPD 和 Flash-MOPD 權重已經開放，API 也已經切到新版，調用名稱不變。小米還會重置 MiMo Desktop 用戶當前週期的剩餘額度。