Kimi智能助手宣布支持200万字无损上下文 不到半年提升10倍

2024 年 3 月 18 日，通用人工智能创业公司——月之暗面（Moonshot AI）宣布在大模型长上下文窗口技术上取得新的突破，Kimi 智能助手已支持 200 万字超长无损上下文，并于即日起开启产品“内测”。对大模型超长无损上下文能力有需求的用户，可到 Kimi 智能助手网页版 kimi.ai 首页申请抢先体验。

据了解，Kimi 智能助手是月之暗面（Moonshot AI）基于自研千亿参数大模型打造的对话式 AI 助手产品，在 2023 年 10 月发布时支持约 20 万汉字无损上下文输入，创造了消费级AI产品所支持的上下文输入长度纪录。2023 年 11 月，Kimi 智能助手正式面向全社会开放服务，出色的长上下文处理能力，帮助用户解锁了很多新的使用场景，包括专业学术论文的翻译和理解、辅助分析法律问题、一次性整理几十张发票、快速理解API开发文档等，获得了良好的用户口碑。

不到半年时间，月之暗面将 Kimi 智能助手的无损上下文长度提升了一个数量级， 从 20 万字到 200 万字。由于没有采用常规的渐进式提升路线，月之暗面团队遇到的技术难度也是指数级增加的。为了达到更好的长窗口无损压缩性能，月之暗面的研发和技术团队从模型预训练到对齐、推理环节均进行了原生的重新设计和开发，不走“滑动窗口”、“降采样”等技术捷径，攻克了很多底层技术难点，才取得了新的突破。

媒体沟通会现场，月之暗面“抛砖引玉”，展示了一些超长无损上下文的使用场景示例。例如，用户上传几十万字的经典德州扑克长篇教程后，让 Kimi 扮演德扑专家为自己提供出牌策略的指导。