多模态记忆：当记忆不再只是文本
图像、音频、视频进入记忆系统后，编码、对齐、检索、时序管理四个环节都被改写。梳理多模态记忆的真实技术难点与已落地的工程方案。
2025-12-3110分钟
到目前为止，绝大多数记忆引擎处理的都是文本：用户说了什么、文档写了什么。但当 AI 助手开始看摄像头、听语音、读图表，记忆系统的输入就不再是纯文本。
这不是「把文件也存进去」那么简单。多模态记忆改变了记忆系统每一个环节的设计前提。
要点速览：音频/视频目前的主流做法仍是「降维成文本或帧序列」；第一道门槛是存储预算而不是算法；「支持上传多模态文件」不等于「真正的多模态记忆」。落地顺序：先转写降维 → 补时间戳元数据 → 单独核算成本 → 细粒度取数保留结构化通道。
一、四种模态，四种编码路径
| 模态 | 主流编码方式 | 存储成本 | 检索难点 |
|---|---|---|---|
| 文本 | 直接分块 + 向量化 | 低 | 语义漂移、指代消解 |
| 图像 | 视觉编码器 → 向量；或先转文字描述再向量化 | 中 | 细粒度内容无法用一句话概括（如表格数据、界面细节） |
| 音频 | 转写为文本（主流）或声学特征向量 | 中–高 | 语气、情绪、说话人身份在转写中丢失 |
| 视频 | 抽帧 + 时间轴分段，分别编码 | 极高 | 时间对齐、跨帧事件连续性 |
一个关键工程判断：音频和视频目前的主流做法都是「降维成文本或帧序列再处理」，而不是直接在原始模态空间做记忆检索。原因是跨模态检索的精度和成本都还不够成熟。
二、四个被改写的环节
1. 编码：从「切块」到「对齐」。
文本记忆的切块逻辑是语义边界；多模态记忆必须同时对齐时间轴——「用户看到这张图的时候正在说什么」是一个跨模态对齐问题，没有对齐就没有上下文。
2. 存储：成本结构变了。
一段 10 分钟的视频抽帧后可能是数百张图，向量存储量与文本不是一个量级。多模态记忆的第一道门槛是存储预算，而不是算法。
3. 检索：跨模态召回。
用文字查询召回相关图像（text-to-image retrieval）需要统一的跨模态表征空间（如 CLIP 类模型）。难点在于细粒度:一张包含 20 行数据的表格截图，向量相似度无法区分「哪一行」。
4. 时序管理：事实何时成立。
图像和视频带时间戳，天然适合双时间模型。「用户上个月的头像是猫，现在是狗」——这类跨模态的事实更替，需要记忆系统同时管理内容和时间有效性。
三、真实落地的三种形态
| 形态 | 做法 | 代表 |
|---|---|---|
| 平台级多模态存储 | 对话、文档、表格、音频、视频统一入库，按记忆类型分类 | MemoryLake、OmniMemory |
| 原生多模态记忆引擎 | 从架构层支持视频/文本/音频/动作输入 | OmniMemory、硅基记忆 |
| 多模态增量记忆 | 在类脑记忆循环中纳入图像等模态，做增量关联 | MemoryBear |
需要区分「支持上传多模态文件」和「真正的多模态记忆」。前者只是把文件当附件存起来，检索仍走文本描述；后者会在同一表征空间内做跨模态关联与推理。目前真正做到后者的产品很少，多数仍以「转写为文本 + 元数据标注」为主。
四、工程实践建议
如果你的应用需要处理多模态记忆，按这个顺序落地风险最低：
- 先用转写降维：音频走 ASR、视频走抽帧加描述、图像走 OCR 加 caption，统一成文本记忆。这套方案今天就能用。
- 补时间戳与来源元数据：每条记忆都带上「来自哪个文件、第几秒/第几帧」，为后续跨模态对齐留接口。
- 单独评估存储成本：把多模态资源的向量化成本单独核算，不要混在文本预算里。
- 谨慎对待细粒度需求：需要从图像里精确取数的场景（财务报表、界面操作），纯向量召回不可靠，应保留结构化解析通道。
五、判断：多模态记忆成熟了吗
- 文本 + 图像检索：可用。跨模态召回在粗粒度场景（找相似的图、找包含某物体的图）已能落地。
- 音频记忆：转写方案可用，声学层面的记忆（语气、情绪）仍属前沿。
- 视频长时记忆：不成熟。抽帧导致的时序断裂、成本随视频长度线性上升，两个问题都未解决。
- 多模态事实时序管理：仍处早期，缺少公开评测基准。
LoCoMo 是少数包含图像生成任务的长对话基准，但它的多模态部分规模有限，远不足以评估生产级多模态记忆。
参考来源
- LoCoMo 论文（含多模态对话任务）：https://arxiv.org/abs/2402.17753
- MemoryLake 官方站（多模态记忆基础设施）：https://memorylake.ai
- OmniMemory 官方站：https://omnimemory.ai
- MemOS 论文（统一记忆类型表示）：https://arxiv.org/abs/2507.03724
本文为技术趋势分析，涉及产品能力的描述以各厂商官方公开信息为准；「真正多模态记忆」与「多模态文件存储」的区分标准为：是否在同一表征空间内完成跨模态关联与检索。