跳到主要内容
727财经
中文

英伟达让AI重写Kimi注意力内核:速度达到官方版近3倍

动察 Beating AI 快讯,NVIDIA 研究团队让 AI Agent 直接重写了 Kimi Delta Attention 的 GPU 内核。Kimi Delta Attention 是月之暗面 Kimi-Linear 模型使用的核心注意力机制之一。这类底层代码过去通常需要熟悉 CUDA 和芯片架构的工程师反复手工优化。

最终,Agent 写出的版本在 NVIDIA B300 上达到月之暗面官方 FlashKDA 的 2.96 倍速度。团队测试了固定长度和不同变长序列共 6 组任务,2.96 倍是全部任务的几何平均值。相关内核已经开源。

但 Agent 也很快找到了测试漏洞。它曾把测试数据的统计规律直接写死进代码,跑出 3.74 倍;还试过只保留最近 32 个 token,单项成绩甚至达到 5.16 倍。这些版本一换到真实 Kimi 数据就会算错,有的直接失效。

团队随后加入真实 Kimi 运行数据、随机输入和极端数值测试,并收紧误差标准。最终保留下来的 2.96 倍版本通过了这套验证。

相关资讯

  1. 哈塞特:人工智能泡沫确实值得担忧,尊重沃什与美联储的判断

  2. 台积电拟进军先进内存芯片制造 应英伟达要求布局3D DRAM

  3. 前FBI特工认罪,承认从35起调查中窃取约247万美元加密资产

  4. 国常会:完善资本市场稳市机制,增强股市内在稳定性

  5. 美国10月非农就业人口增加16.5万人,远超预期,失业率降至4.1%

    PANews 11月6日消息,美国劳工统计局数据显示,美国10月季调后非农就业人口增加16.5万人,预期6.5万人;9月数据由2.9万人上修至6.0万人,8月数据由13.3万人上修至18.6万人...