记忆原生模型MemT 1.0开源:记忆写进架构,基准测试领先

用AI最让人崩溃的,往往是一个再熟悉不过的瞬间:花半天纠正它,把任务做对,换个新会话,它转头又踩进同一个坑。记忆张量刚刚发布并开源了MemT 1.0,一款“记忆原生”的大模型,专门针对这个毛病。技术报告里有一场测试很能说明问题:用户先给出展览的原定时间,随后敲定周日改期,中间还顺口提了一个未被采纳的周一方案。此后双方又聊了五百多轮、约6.6万token,展览再没被提起。模型在完全不看原始文本的“闭卷”状态下,仍准确报出了原定与改期时间,并指出场地、票价和联系人都没变,把周日的定论和周一的备选分得清清楚楚。
这类场景正是传统方案的短板。市面上多数做法是给模型外挂一个记忆库,把聊天记录存起来,需要时再检索。报告指出,面对跨度这么长的多版本信息,外挂检索很容易把闲聊当成定论。MemT 1.0的思路不同:它把模型的脑力拆成两块,一块是承载通用认知的主干网络,另一块是随交互实时演进的动态记忆状态。每轮对话结束时,模型直接在token级别刷新这块记忆,哪些留下、哪些覆盖,由训练中学出的一套门控机制决定,整个大模型无需重新训练。为了在固定体积的记忆里装下更多细节,团队还引入了Mixture-of-Storage架构,让多位“记忆专家”分头管理存储空间的读写。这些能力靠后天练出来:团队先用200亿token做继续预训练,再用140亿token做后训练,由一个“学霸”教师模型给记忆提取打分。
在11项系统记忆基准测试中,全程闭卷作答的MemT-1.0-Flash和MemT-1.0-Nano均分分别为50.6和47.0,分别领先同组最强参数化记忆基线12.5分和8.9分。报告还有两个更具体的例子:约1.6万token的历史里,用户问起自己的生日,模型老实回答不知道,没有瞎编;在3.3万token的对话中,模型依据很早之前定下的规则,核对徽章和登记状态,判定两人中一人合规、一人未登记。这些数字全部来自开发方的技术报告,目前还没有独立机构的复现结果。
更进一步的测试在真实编程场景中进行。团队先从数万条成功轨迹中提炼出上千条经验,再让模型在遇到报错、空返回或重复无效操作的“卡壳点”时注入经验重跑,据此筛出约4.2万条样本训练记忆模块。在SWE-bench Verified的500项任务上,提前写入经验后,Nano的平均成功率从66.07%升至69.33%,与把同样经验直接塞进上下文的对照组(68.87%)相当。在实战模式下,模型只在报错或原地打转时才当场写入经验,平均成功率达到69.73%,略高于文本经验组的69.13%。覆盖九种编程语言的SWE-bench Multilingual测试中,Nano从60.00%提升到63.56%。这些对比同样出自开发方报告。
对企业来说,最直接的变化是团队经验不必再反复“重教”。报告描述的场景是:项目规范和排错套路,工程师每开一个新会话都要重新交代一遍,企业等于在为重复开销持续买单。在MemT 1.0的设想里,真实业务反馈持续刷新经验库,模型把团队规范逐渐内化,老手少操心,AI少踩老坑。成本账同样关键:在双GPU、单并发的测试条件下,处理64K token历史时,Nano相对完整上下文方案的端到端推理速度约为1.20倍,历史增加到256K时达到约3.99倍;128K历史下,单条交互的持久状态存储约为完整KV cache的六十六分之一。报告还列举了数字分身、慢病管理顾问和个性化私教等长期陪伴场景,但这些仍是设想,文中没有任何落地时间表。
Comments
Loading the thread…
Sign in to leave a comment. Sign in