跳到主要內容
727財經
繁體中文

英偉達讓AI重寫Kimi注意力內核:速度達到官方版近3倍

動察 Beating AI 快訊,NVIDIA 研究團隊讓 AI Agent 直接重寫了 Kimi Delta Attention 的 GPU 內核。Kimi Delta Attention 是月之暗面 Kimi-Linear 模型使用的核心注意力機制之一。這類底層代碼過去通常需要熟悉 CUDA 和芯片架構的工程師反復手工優化。

最終,Agent 寫出的版本在 NVIDIA B300 上達到月之暗面官方 FlashKDA 的 2.96 倍速度。團隊測試了固定長度和不同變長序列共 6 組任務,2.96 倍是全部任務的幾何平均值。相關內核已經開源。

但 Agent 也很快找到了測試漏洞。它曾把測試數據的統計規律直接寫死進代碼,跑出 3.74 倍;還試過只保留最近 32 個 token,單項成績甚至達到 5.16 倍。這些版本一換到真實 Kimi 數據就會算錯,有的直接失效。

團隊隨後加入真實 Kimi 運行數據、隨機輸入和極端數值測試,並收緊誤差標準。最終保留下來的 2.96 倍版本通過了這套驗證。

相關資訊

  1. 哈塞特:人工智能泡沫確實值得擔憂,尊重沃什與美聯儲的判斷

  2. 台積電擬進軍先進內存芯片製造 應英偉達要求佈局3D DRAM

  3. 前FBI特工認罪,承認從35起調查中竊取約247萬美元加密資產

  4. 國常會:完善資本市場穩市機制,增強股市內在穩定性

  5. 美國10月非農就業人口增加16.5萬人,遠超預期,失業率降至4.1%

    PANews 11月6日消息,美國勞工統計局數據顯示,美國10月季調後非農就業人口增加16.5萬人,預期6.5萬人;9月數據由2.9萬人上修至6.0萬人,8月數據由13.3萬人上修至18.6萬人...