你的“龙虾”真记得你吗 AI记忆能力测试结果不佳。ATM-Bench 将“个人AI助手是否真的记得你”这一问题转化为一个研究测试基准。结果显示，专用记忆智能体系统的准确率普遍低于20%，而通用智能体如OpenClaw、Codex和Claude Code的最高准确率也不到40%。

设想一个场景：妈妈问：“你上次去日本旅行帮我买的相机还在保修期内吗？”对人类来说，这并不难，可以通过查看收据、照片或邮件来回忆。但对当前的AI来说，这类问题却相当复杂。

剑桥大学的研究团队开源了面向AI个人助理的长期记忆基准测试ATM-Bench。该测试评估AI在面对一个人多年真实生活数据时能否记住相关信息。实验结果不理想，在ATM-Bench-Hard基准上，热门开源智能体OpenClaw仅达到25.4%的准确率；编程智能体标杆Claude Code也只有33.8%。多数开源专用记忆系统准确率甚至低于20%。

过去已有不少工作评估AI的记忆能力，例如LoCoMo、LongMemEval等，但这些大多聚焦于对话历史。而真实世界中的个人记忆分散在照片、视频和邮件中，时间跨度可能长达数年且互相之间并不一致。为此，ATM-Bench提出了首个面向长期、多模态、多来源、个性化指代记忆问答的基准。其关键特征包括时间跨度约4年，覆盖图像、视频、邮件三类模态，超过一万条记忆数据，且这些数据来自真实个人生活而非合成对话。图像和视频数据包含地点、时间等元数据，地点遍布四大洲。此外，还包括1000多条完全人工标注的问题、答案与证据。

ATM-Bench的核心难点在于个性化指代、多来源拼接、记忆冲突和元数据噪音。例如，个性化引用解析需要判断“Grace”是朋友、家人还是宠物，并在图片或视频中识别出这个对象。证据冲突则涉及预订金额和最终发票金额不一致的情况。看不见的线索，如从邮件中找到与Fancett餐厅相关的预订信息，再跨模态找到同一时段的照片，最后从视觉内容中判断点了什么菜，这些都需要AI具备跨模态处理能力。

实验结果表明，即使是最强的通用智能体系统表现也不佳。表现最好的Codex仅有39.7%的准确率，Claude Code + Opus 4.6为33.8%，OpenCode（Kimi K2.5）为30.3%，OpenClaw（Kimi K2.5）为25.4%。尽管这些系统拥有完整的代码执行能力和文件系统访问权限，但在长期个性化记忆问答方面仍显得力不从心。

虽然ATM-Bench的实验结果不尽如人意，但研究团队认为这为未来的长期记忆机制与个性化AI助手的研究开辟了新的方向。工具链再完善、模型再强大，也弥补不了记忆架构上的根本缺陷。只有当AI能够像人类一样在数年的记忆长河中准确检索、关联和推理时，我们才能真正实现“个性化AI”。在此之前，我们不应对其记忆能力抱有过高期望。毕竟，它们连“去年给妈妈买的相机”都记不住。

ATM-Bench数据集已在HuggingFace上线，包含完全人工标注的1069个QA对、多模态证据标注、NIAH大海捞针评估支持以及开箱即用的基准测试代码。