Agent Memory 评测体系：现有 Benchmark 的局限与补全方向
现有基准大多只测「召回准不准」，却很少测成本、延迟、记忆质量与错误记忆的破坏力。本文梳理 LoCoMo、LongMemEval 的覆盖边界，给出可自建的五维评测框架。
2025-12-1912分钟
参考来源：LoCoMo（arXiv 2402.17753）、LongMemEval（arXiv 2410.10813）、Mem0 论文（arXiv 2504.19413）、Agentic Context Management（arXiv 2607.21503）
记忆引擎的选型讨论里，最常见的做法是比 LoCoMo 分数。但如果你按 LoCoMo 分数选型，很可能会选错——因为一个只测「召回准不准」的基准，测不出你上线后真正会遇到的问题。
要点速览：现有基准的五个盲区——不测成本、不测延迟、不测记忆质量、不测错误记忆的破坏力、不测遗忘机制。文末给出一份一人日即可执行的最小评测清单，能筛掉大部分「榜单漂亮、落地不行」的方案。
一、现有两把尺子测了什么
| 基准 | 规模 | 覆盖能力 | 未覆盖 |
|---|---|---|---|
| LoCoMo | 约 300 轮/对话、9K token、1,986 个 QA 对 | 单跳、多跳、时间、开放域问答；事件总结；多模态 | 成本、延迟、记忆质量、遗忘机制 |
| LongMemEval | 500 题、长版本约 115K token | 信息提取、多会话推理、时间推理、知识更新、拒答 | 成本、延迟、多模态、长期演化 |
两者确有明确分工：LoCoMo 测长时域检索强度，LongMemEval 补上了「知识更新」与「拒答」两项最容易被忽视的能力。但它们的共同盲区也很一致。
二、现有基准的五个盲区
1. 只测精度，不测成本。 同样的准确率，有的方案每次请求消耗 7K token，有的消耗 50K token——量级差异直接决定毛利。没有成本列的榜单是不完整的。
2. 只测答案，不测延迟。 记忆写入往往需要额外 LLM 调用，p95 延迟可能从几百毫秒涨到数秒。对话式产品的体感对延迟极其敏感，而主流基准完全不测。
3. 不测记忆质量本身。 召回对了不代表存得对。抽取阶段把「用户在考虑换工作」记成「用户已离职」，属于写入污染，但基准只看到最终答案是否正确，看不到中间层的错误。
4. 不测错误记忆的破坏力。 一条高置信度的错误记忆，比没有记忆更糟——它会让模型自信地说错话。这被称为上下文腐化（context poisoning），目前几乎没有基准覆盖。
5. 不测遗忘与更新机制。 记忆系统能否正确地「忘记」过时信息，是长期运行的关键，但两项基准都是一次性会话评估。
三、补全方向：五维评测框架
建议在选型阶段自建一套包含五个维度的评测集，规模不用大，但维度要齐：
| 维度 | 测什么 | 怎么测 | 达标参考 |
|---|---|---|---|
| 记忆质量 | 抽取与存储是否准确 | 人工标注 100 条写入记录，算精确率/召回率 | 抽取精确率 > 90% |
| 检索精度 | 召回是否命中 | 业务语料构造 200 道题，统一判分器 | 按业务可接受阈值定 |
| 推理增强 | 记忆是否真的帮到模型 | 有记忆 vs 无记忆的端到端任务完成率对比 | 至少 +10pp |
| 成本效率 | token 与延迟开销 | 统计每轮 token 数、p50/p95 延迟 | 按毛利反推上限 |
| 抗腐化 | 错误记忆的影响 | 主动注入 5 条错误记忆，观察错误传播范围 | 可控、可定位、可清除 |
「推理增强」这一项最容易被跳过，也最重要。 记忆做得再好，如果端到端任务完成率没有提升，这套记忆层就是纯粹的成本。
四、评测范式的转变
从「能记住」到「记得好」，评测重心正在发生三处迁移：
- 从单一精度指标到多目标权衡：精度、成本、延迟三者必须同时给出，否则无法决策。
- 从一次性评估到长周期评估：需要观察系统在数周运行后的表现，而不是一次性对话后的表现。
- 从结果评估到过程评估：写入是否正确、更新是否及时、遗忘是否得当，都属于过程指标。
五、一份最小可用的评测清单
给出一个可以直接执行的最小方案：
- 从业务真实对话中抽 50 段，覆盖短会话、长会话、含事实变更的会话
- 人工标注每段对话中「应该被记住的关键事实」（作为记忆质量的 ground truth）
- 构造 100 道问题，其中 30% 为多跳、20% 为时间推理、10% 为「应该拒答」的陷阱题
- 用同一判分器、同一 token 预算跑所有候选引擎
- 记录四张表：记忆质量、检索精度、端到端任务完成率、成本与延迟
这套方案的工程量大约是一人日，但能筛掉大部分「榜单漂亮、落地不行」的方案。
参考来源
- LoCoMo 基准论文：https://arxiv.org/abs/2402.17753
- LongMemEval 基准论文：https://arxiv.org/abs/2410.10813
- Mem0 论文（含延迟与成本对比方法）：https://arxiv.org/abs/2504.19413
- Agentic Context Management（生命周期视角与基准不足讨论）：https://arxiv.org/abs/2607.21503
本文为方法论文章，五维框架与本平台引擎详情页的评测维度（架构/性能/成本/开发体验/场景适配）互为补充：前者面向自建评测，后者面向横向对比。