返回文章列表
评测基准

AML 榜单第一期解读:MemoraX 三榜登顶,我们的引擎排在哪里

天津大学等 27 家机构运营的 Agent Memory Leaderboard 公布首批成绩:统一 Add/Search 协议下 MemoraX 横扫文本与代码双赛道,Mem0、TencentDB、SuperMemory、MemoryBear 位次全解读。

2026-09-2612分钟

2026 年 8 月 12 日,由天津大学牵头、联合南京大学、上海人工智能实验室、东南大学、南洋理工、清华、北大、人大、牛津、UNSW、Datawhale 等 27 家机构共同运营的 Agent Memory Leaderboard(AML,agentmemories.ai)发布了 Cycle 1 首批公开成绩。这是首个要求参赛系统自托管 Add / Search API、由平台统一执行 Answer 与 Eval 的智能体记忆公开评测。本站已收录其完整榜单快照,可在「外部榜单」页面查看与筛选。

要点速览:MemoraX 横扫已发布的文本与代码两榜(58.02 / 62.00);本站收录的引擎中 4 款上榜——腾讯第 7、Mem0 第 8、Supermemory 第 14、MemoryBear 开源组文本第 45 但代码赛道冲到第 12。分数不可跨赛道比较;Cycle 2 文本赛道 2026-10-31 截止。

评测设计:把变量锁在记忆系统本身

AML 的核心思路是把答案模型、提示词、评测器与 Top-K(正式榜固定 100)全部平台锁定,参赛系统只负责两件事:同步 Add(记忆写入)与 Search(记忆检索)。分数差异因此只反映记忆系统本身的能力,而不是"谁的提示词写得好"。三个赛道互相独立、分数不可跨赛道比较:

  • 文本赛道:长对话、跨会话历史、事实、多跳关系、时间事件、个性化与记忆治理,七个能力维度(显式事实回忆 / 组合推理 / 时序与事件 / 记忆治理 / 个性化关怀 / 上下文学习与执行 / 安全与隐私)。
  • 代码赛道:CAMBench Coding,150 项软件工程任务、300 次计分尝试,指标为综合解决率与新功能 / 缺陷修复分项。
  • 多模态赛道:Cycle 1 未发布结果。

参赛分商业产品(I 组)与开源方法(A 组)两个组别,开源组要求 Add 阶段固定使用 gpt-4o-mini,以控制预处理成本差异。

文本赛道:MemoraX 统治级表现

商业组 15 个系统中,MemoraX 以 58.02 的综合分登顶,显式事实回忆单项高达 89.89,组合推理、时序事件、记忆治理、个性化四项也全部第一。MemTensor 的 MemOS 以 45.89 位列第二,安全与隐私单项进入前三。值得注意的是网易系 NTES-MEMORY 在同一框架下提交了 SMART、MQ-LAYER、TDAM 三个技术变体,分列第 3、6、15 名——大厂在用"多路线同台"的方式做内部技术选型。

我们收录的引擎中:腾讯以 TencentDB 名义列第 7(41.48,上下文执行单项第 2);Mem0 列第 8(41.40,记忆治理第 3);Supermemory(榜上写作 SuperMemory)列第 14(29.63,但安全与隐私单项第 4)。

开源组 50 个提交里,InvMem 以 45.06 登顶,成绩超过多数商业产品。Mem0 开源版列第 19(42.07),腾讯 TencentDB Agent Memory 列第 26(40.78),MemoryBear 列第 45(34.30)——它把资源押在了代码赛道(见下文)。

代码赛道:编程记忆成为独立战场

CAMBench Coding 榜上 MemoraX 同样第一(综合解决率 62.00),新面孔 claude-mem 以 52.00 位列第二,MemOS v2.0.1、mem0-api v3(51.33,第 7)、Cognee v1.4.0(50.67,第 8)随后。SuperMemory 与 TencentDB 分列第 13、14(均为 49.33)。开源组这边 MemoryBear 表现亮眼:52.00 的综合解决率排在开源组第 12,高吞吐写入路径(写入 Slow / 检索 Fast 的权衡)在代码场景反而占优。

三个值得记住的观察

第一,能力极化普遍存在。MemPalace 事实回忆 58.77、个性化 57.14,但上下文执行只有 6.86;NTES-TDAM 安全隐私 56.77、治理只有 10.46。综合排名之外,单项分对选型更有指导意义——你的应用怕的是"记不住"还是"记错"还是"泄漏",对应的维度完全不同。

第二,统一协议评测与本站的定性评测互补。AML 量化"能力上限",本站覆盖架构设计、成本效益、开发体验与场景适配等"选型维度";先看榜单确认能力水位,再结合工程约束做选择。

第三,Cycle 2 已启动,文本赛道 2026-10-31 23:59 截止,并新增 Streaming 持续记忆能力;多模态赛道结果尚未发布。本站将在新周期出分后同步更新快照数据。

数据快照:2026-09-26,来自 agentmemories.ai 公开榜单(Cycle 1,2026-08-12 发布)。完整四张榜单与本站引擎位次对照见「外部榜单」页面。