记忆张量于10月21日晚间正式发布并开源记忆原生基础模型MemT 1.0系列,包含MemT-1.0-Flash与MemT-1.0-Nano两款。该系列在长历史场景下端到端推理提速最高近4倍,持久化存储较传统完整上下文方案缩减约130倍。
传统方案处理长会话依赖不断扩展历史文本,成本随对话长度增加。MemT 1.0采用可训练记忆模块,每轮交互后自动整理新信息至固定大小记忆,需要时直接召回,无需重新翻阅记录。模型基于340亿token语料分两阶段训练,先学会写入记忆,再学会基于记忆回答。
在11项记忆基准上,Flash平均得分50.6,Nano为47.0,分别位列参数化记忆方法第一和第二,较同类方法最高平均分高出12.5分和8.9分,平均表现与检索增强方案持平且无需现场检索。挂载记忆不影响通用能力,部分基准甚至有提升。
效率方面,历史越长优势越明显:128K历史下推理提速约1.86倍,256K下约3.99倍;查询首字延迟稳定在约104至112毫秒,而传统方案在256K历史下需约445毫秒。存储上,256K历史下每条会话记忆状态约40MiB,较传统方案约5.06GiB缩减约130倍。
对开发者而言,价值体现在三方面:一是省成本,长会话推理开销与延迟更可预期;二是体验更稳,响应时间不随历史增长而变差;三是能力可成长,记忆的保留、更新和调用由模型训练学会,支持持续学习与自我进化。研发团队计划后续提升记忆容量与降低更新成本,为递归自我改进奠定基础。


粤公网安备 44010602000162号
网友评论