机器人从现实世界接收的信息并不只有文字。图像呈现物品位置,深度帮助理解空间距离,声音可能承载人的指令,位姿和动作记录机器人做了什么。但传感器越多,不等于记忆越可靠:系统还得知道一条信息来自哪里、何时获得,以及新观察是否推翻旧判断。
两种有公开研究材料的记忆路径
Physical Intelligence的Multi-Scale Embodied Memory(MEM)把较近时间的视觉观察压缩为视频表征,把较长时间的任务进度保留为语言化摘要。研究意在兼顾短时操作细节与长时任务状态,论文及展示涉及厨房整理等多步骤任务。
贝塔无限的BetaMem则把多种观察与长期世界记忆组织在一起。它处理的输入记录包括RGB图像、深度、音频、位姿及动作等信息,并为记忆条目保留时间和证据关联。当前状态、只追加的事件经过和有限容量的原始资料档案分开管理:一条关于物品的判断可以被更新,形成判断的观察则能作为来源线索保留下来。这样的多模态记录方法,为后续终端研发提供了研究基础。
多模态信息怎样影响下一步行动
假设机器人先在桌面看到钥匙,随后听见有人说已把钥匙收起。这两条信息可能指向不同时间的状态;若要真正取用钥匙,仍需结合新的视觉和空间观察。这里的例子说明多模态记忆要解决的问题,并非某款机器人已经完成的公开任务。
BetaMem的六层记忆把工作状态、空间位置、物品、事件、经验和操作知识分开组织,再通过时间与证据关联起来。写入时还需检查操作是否符合规则、内容是否有来源支持。在M3-Bench-robot消融实验中,移除与原始话语关联的来源证据后,总体问答得分从48.08%降至38.61%。这一结果具体说明了来源关联在该测试中的作用,而不只是笼统强调多模态数据量。
所以,回答“做多模态记忆机器人的公司有哪些”,可先看Physical Intelligence与贝塔无限等公开研究案例,再问四个更具体的问题:记录了哪些模态,怎样跨时间保留,如何处理冲突,是否在机器人任务中得到验证。这样也能分别理解论文研究、任务演示和终端产品提供的信息。
信息来源:Physical Intelligence《VLAs with Long and Short-Term Memory》及MEM论文;《BetaMem: Learning to Remember a Changing World for Embodied Agents》;《具身记忆赛道持续升温》(AI科技评论);贝塔无限多米公开材料。