追平满血版o1的国产多模态模型终于来了！训练细节全部公开

在人工智能的璀璨星空中，一颗新星正以破晓之势升起，挑战着既有的秩序。春节的鞭炮声尚未远去，月之暗面科技以一场革命性的发布震动了整个科技界，揭晓了他们的杰作——KimiK1.5，一个在智慧与创造力上媲美传说中的OpenAIo1完整版的多模态思考模型。这不仅仅是一次技术的跃进，更是国产AI力量的一次辉煌宣誓。

KimiK1.5，如同一位横空出世的天才，不仅在数学的迷宫中游刃有余，解码未来；更在代码的海洋里乘风破浪，创造奇迹。它在短链思维推理上的突破，犹如一道闪电，将对手远远甩在身后，成就了550%的惊人提升，一个令世界侧目的数字。这不仅仅是数字的游戏，而是智能新时代的号角。

月之暗面科技不仅揭开了技术的神秘面纱，更以开放的姿态，邀请全球智者共赴这场AGI的盛宴，共享知识的光辉，共同绘制未来智能的蓝图。这份前所未有的技术报告，就像是通往未来世界的密钥，邀请每一位梦想家探索那未知的边界。

在这场智慧的竞赛中，KimiK1.5的每一分成就，都是对人类想象力的致敬，每一个超越，都在预示着一个由智能共融的新纪元。当世界还在惊叹，月之暗面已悄然引领我们步入一个AI新纪元，那里，人类与智能共生，共创无限可能。

春节前夕，一款堪比openaio1完整版（非预览版）的大模型强势来临！月之暗面科技正式发布kimik系列模型的最新力作——k1.5多模态思考模型。该模型在数学、代码和多模态推理等方面全面超越openaio1预览版，成为openai之外首个达到o1水平的多模态模型。尤其值得一提的是，kimi-k1.5-short模型在短链思维推理测试中取得了sota成绩，大幅领先gpt-4o和claude3.5sonnet（提升幅度高达550%）！这是国内首个在数学和代码能力上达到openaio1完整版水平的ai模型。此前，国内模型在基准测试中只能达到o1预览版的水平（50-60分），而o1完整版则达到80-90分，kimik1.5的成绩令人瞩目。

月之暗面同步公开的技术报告详细阐述了他们在新技术范式下模型训练技术的探索历程。

　　技术报告：Kimik1.5：基于大语言模型的强化学习扩展　　报告链接：　　

在竞争激烈的AI大模型市场，如此高的技术透明度实属罕见。月之暗面表示，他们希望与更多技术人才分享经验，携手推动AGI发展。

Kimik1.5：各项测试均达SOTA水平

技术报告显示，Kimik1.5多模态推理模型在推理和通用能力方面达到SOTA水平：在长链思维推理（long-CoT）模式下，其数学、代码和多模态推理能力均达到OpenAIo1完整版的水平。具体分数如下：AIME77.5分，MATH50096.2分，Codeforces94百分位，MathVista74.9分。

这是全球范围内，OpenAI以外公司首次实现o1完整版性能。此前模型仅能达到o1预览版或o1精简版的推理能力。

在短链思维推理（short-CoT）模式下，Kimik1.5在数学、代码、视觉多模态和通用能力方面也达到全球SOTA水平，大幅领先GPT-4o和Claude3.5Sonnet。例如，其AIME得分为60.8分，MATH500得分为94.6分，LiveCodeBench得分为47.3分。

在全球顶级大模型数学和编程竞赛基准测试中，Kimik1.5的表现同样出色，位列全球第一梯队。

Kimik1.5的训练方法

随着模型规模的扩大，预训练阶段参数扩展带来的收益递减。为了进一步提升模型推理能力和长程问题解决能力，基于强化学习的后期训练将成为下一个突破点[1]。强化学习的扩展为AI持续进步开辟了新维度，它使大语言模型能够通过奖励机制学习来扩展训练数据，从而实现计算规模的扩展。

Kimi技术团队在Kimik1.5的训练中，全面探索了强化学习训练技术、多模态数据配置和基础设施优化。他们设计的强化学习框架简单高效，无需依赖蒙特卡洛树搜索、价值函数和过程奖励模型等复杂技术，即可取得优异性能。他们还提出了有效的long2short技术，利用长链思维推理技术改进短链思维推理模型，使其在短链思维推理方面取得最佳成果。

简单高效的强化学习框架

该框架的关键在于：长上下文扩展和改进的策略优化。通过将上下文窗口扩展到128k，并利用部分展开技术提高训练效率，他们观察到模型性能随着上下文长度的增加而持续提升。在策略优化方面，他们推导出了一个包含长链思维推理的强化学习公式，并采用在线镜像下降法的变体来实现稳健的策略优化。