具身智能记忆与导航领域最新研究简要分析：2024年末至2025年顶刊顶会

具身智能领域最新研究成果报告：2024年末至2025年顶刊顶会综述

引言：具身智能及其研究背景

具身智能（Embodied AI）旨在构建能够与物理世界进行感知、行动和学习互动的智能体，例如机器人。其核心目标是使机器人在复杂、动态的真实环境中自主执行任务，并展现出类似于人类的理解、规划与决策能力 ¹。这一新兴领域深度融合了计算机视觉、自然语言处理、强化学习和机器人学等前沿学科的最新进展，旨在将人工智能从传统的被动信息处理模式提升至主动的物理世界交互层面 ¹。

在机器人长期部署的场景中，例如持续数小时乃至数天的运行，如何高效地积累、存储并检索其在部署过程中所感知到的海量历史信息，包括动态事件和非静态物体，对于机器人理解环境、响应用户查询以及执行复杂任务而言至关重要 ⁶。传统的机器人系统在处理长时间跨度的感知数据时面临显著挑战。例如，基于Transformer的模型在处理长视频上下文时计算成本高昂，而如LSTM等状态空间模型可能出现“遗忘”现象，限制了机器人对过去经验进行时空推理的能力 ⁶。因此，开发可扩展、高效的长时程记忆机制，以支持机器人对“看到了什么”、“在哪里发生”、“什么时候发生”等问题进行回溯和推理，并据此生成导航目标，已成为具身智能领域的一个关键研究方向 ⁶。这种对“长时程”能力的追求，标志着研究范式正从单一的实时感知-行动循环，转向包含记忆构建、存储、检索和推理的更为复杂的智能架构。具身智能的实用化，特别是其在家庭和工业环境中的应用，要求机器人不仅能处理瞬时信息，更要能对动态变化的物体和事件进行长期追踪和理解，这实质上是对机器人“智能”定义的一种扩展，使其更接近人类的记忆与认知模式。长时程记忆的突破预计将极大地拓宽具身智能的应用边界，使其能够胜任需要持续学习、经验积累和复杂问题解决的场景，从而推动具身AI从实验室环境走向更广阔的真实世界。

具身智能前沿研究进展

1. 长时程记忆与时空推理

具身智能体在动态环境中长期运行，需要高效的机制来存储和检索海量的时空信息。最新的研究致力于开发可扩展的记忆系统，以支持机器人进行复杂的时空推理和问答。

• ReMEmbR系统：基于检索增强记忆的机器人导航问答
  
  ReMEmbR（Retrieval-augmented Memory for Embodied Robots）是一个专为机器人导航设计的长时程视频问答系统，旨在解决机器人长时间部署时记忆积累和查询的挑战 6。该系统将任务巧妙地分解为“记忆构建”和“查询”两个核心阶段 6。在记忆构建阶段，ReMEmbR利用VILA等视频字幕模型对连续的视频片段进行实时描述，并将这些生成的文本描述、机器人的实时位置信息和时间戳高效地嵌入到向量数据库（如MilvusDB）中。这种方法能够有效地存储动态事件和非静态物体的信息，并支持对任意长度的历史数据进行管理，克服了传统方法对长上下文处理的计算限制 6。进入查询阶段，系统则利用一个大型语言模型（LLM）代理作为核心的采样函数，通过向向量数据库发出文本、空间或时间相关的查询来检索最相关的记忆片段。这种检索增强生成（RAG）范式使得LLM能够基于精选的上下文进行长时程推理，从而实现低延迟的问答和导航目标生成 6。
  
  ReMEmbR的实验结果显示，其在NaVQA数据集上表现优于传统的LLM和VLM基线，尤其在处理长时程视频任务时展现出更高的正确性。值得注意的是，其查询时间基本不受视频持续时间的影响，这为其在真实世界的部署提供了坚实的基础 6。为了评估系统性能，研究人员还专门引入了NaVQA数据集，该数据集包含210个涵盖空间、时间、描述性信息的问答对，旨在全面评估机器人长时程记忆的构建和推理能力 6。ReMEmbR已在Nova Carter机器人上进行了真实世界部署，成功响应了多种导航相关问题，包括处理模糊指令，例如“带我去风景好的地方” 6。
  
  这种现象表明，随着机器人部署时间的增长，传统Transformer模型受限于固定上下文窗口，使得长时程记忆和推理成为其性能瓶颈 6。ReMEmbR通过引入检索增强记忆和向量数据库，巧妙地解决了这一可扩展性问题，将记忆存储与LLM推理解耦。这种设计使得LLM能够高效地访问和利用无限增长的历史数据，从而有效地弥补了LLM固定上下文窗口的局限性。因此，RAG范式已成为解决具身智能长时程记忆和推理能力的关键技术路径，特别是在处理非结构化、动态的感知数据方面。这种架构的成功也推动了专门针对机器人长时程问答的数据集（如NaVQA）的开发，以更好地评估和推动该领域的研究。
  
• 3D空间多模态记忆（M3）系统
  
  M3（3D Spatial MultiModal Memory）是一个先进的多模态记忆系统，其设计目标是通过视频源保留中等大小静态场景的丰富信息 9。该系统通过整合3D高斯泼溅（3D Gaussian Splatting）技术与各类基础模型，构建了一个能够渲染不同粒度特征表示的多模态记忆，从而涵盖了广泛的知识 9。M3通过引入“主场景组件”和“高斯记忆注意力”等关键组件，有效地解决了存储高维特征所面临的计算限制以及特征错位或信息损失的问题，实现了高效的训练和推理 9。
  
  M3的创新之处在于其能够将2D基础模型（如视觉语言模型VLM、感知模型、大型多模态和语言模型LMM/LLM）的语义信息蒸馏并编码到3D高斯泼溅的结构中，从而在三维空间中构建出可查询的语义记忆 9。这对于机器人理解三维世界、进行物理推理至关重要，并已在四足机器人上进行了室内场景部署验证，主要用于定位和建图任务 9。
  
  ReMEmbR主要侧重于基于视频字幕的语义记忆，而M3则将多模态信息（包括VLM、感知模型、LMM/LLM的特征）编码到3D空间结构中。这种从2D视频字幕到3D空间记忆的演进，反映了具身智能记忆研究的两个重要方向：一是语义和时序事件记忆，二是具身化的3D空间记忆。将这两种记忆形式（例如，ReMEmbR的事件记忆与M3的3D空间记忆）结合起来，有望构建更全面、更鲁棒的机器人世界模型，从而提升其在复杂物理世界中的理解、推理和导航能力。未来的研究可能会探索如何让LLM代理能够同时查询和整合这两种不同粒度和模态的记忆，从而为机器人提供更“接地气”的世界模型，使其能够更好地理解和操作复杂的三维环境，例如进行精细操作、避障和路径规划，并为未来的“世界模型”研究奠定基础，使机器人能够像人类一样构建和更新对世界的内部表征 12。
  
• 其他高效长时程记忆机制
  
  在具身智能领域，除了上述系统，还有多项研究致力于提升机器人的长时程记忆和任务规划能力。例如，一项研究提出了一种基于LLM的系统，使四足机器人能够解决超越短期运动的长时程任务 13。该系统通过包含语义规划器、参数计算器、代码生成器和重规划器等多个LLM代理，将高层任务描述转化为混合离散-连续的机器人代码，并在低层结合强化学习技能，展现了LLM在复杂任务分解和执行中的强大潜力 13。
  
  在家庭机器人领域，LLM-Empowered Embodied Agent for Memory-Augmented Task Planning in Household Robotics 8 提出了一种LLM驱动的代理编排架构，其中专业的软件代理协同处理长时程家庭任务。该系统通过利用检索增强生成（RAG）机制来维护动作和环境记录，实现了高效的记忆检索，从而支持长期对象跟踪和复杂任务的执行 8。此外，LIGER（Long-horizon Instruction GEneration with logic and attribute self-Reflection）框架提出了一种无需训练的方法，用于生成长时程视觉指令 15。它通过逐步生成草图并利用图像编辑工具进行逻辑和属性自反思，有效地解决了图像不一致和属性不准确的问题，这对于机器人理解和执行复杂的多步骤任务至关重要 15。
  
  这些研究普遍强调了“长时程任务”和“记忆机制”的重要性，并普遍采用LLM作为高层规划和推理的核心。无论是四足机器人的复杂运动规划还是家庭机器人的对象管理，都离不开对历史信息的有效利用。这表明，具身智能正在从短期、单次任务向长期、多步任务演进，对记忆的需求也从简单的短期记忆转向可查询、可推理的长期记忆。这种演进使得机器人能够执行更高级别的、需要多步推理和环境交互的任务，例如复杂的装配、探索或服务任务，而不仅仅是简单的导航或问答。然而，这一领域也面临着如何高效聚合这些记忆、避免重复信息稀释有用信息，并确保记忆实时更新和一致性的挑战 6。

2. 大语言模型（LLMs）与视觉语言模型（VLMs）的融合

LLMs和VLMs凭借其强大的多模态理解和推理能力，正在成为具身智能领域的核心驱动力，极大地扩展了机器人的感知、规划和交互能力。

• LLM/VLM作为具身智能体、规划器和奖励函数
  
  一项发表于2025年NeurIPS的综合综述深入探讨了LLM和VLM在强化学习（RL）中的集成，并提出了一个统一的分类法，将其功能划分为三大核心角色：智能体（Agent）、规划器（Planner）和奖励函数（Reward） 16。
  
  作为智能体，LLM/VLM可以通过参数微调或非参数方法（如检索增强生成RAG和提示工程）来增强智能体的决策能力和泛化性 16。例如，非参数化智能体能够利用外部知识库获取上下文信息。作为规划器，LLM/VLM能够生成全面的任务计划或提供逐步指导，将复杂任务分解为更小的子目标，从而显著降低RL代理的训练难度 16。例如，SayCan通过估计子目标的成功可能性来将LLM计划与现实世界约束相结合。作为奖励函数，LLM/VLM可以自动化地设计显式奖励函数或作为奖励模型，减少人工标注的需求，并提高奖励的可解释性 16。
  
  这种现象表明，LLM和VLM不再仅仅是感知或语言理解的工具，它们正在成为具身智能系统的核心“大脑”，直接参与到决策、规划和学习循环中。这种“LLM/VLM-centric”的范式转变，使得机器人能够利用大模型的广阔世界知识和强大推理能力，克服传统RL在先验知识缺乏、长时程规划和奖励设计上的挑战 16。这意味着通用基础模型正在赋能机器人实现更高级别的自主性和智能，但也对模型的可控性、可解释性和安全性提出了更高要求。
  
• LLM驱动的具身智能体编排架构
  
  在家庭机器人领域，有研究提出了LLM驱动的代理编排架构，其中专业的软件代理协同工作以解决长时程家庭任务 8。这种架构通过在上下文学习和检索增强生成（RAG）增强的记忆机制，实现了对高层用户命令的执行和长期对象跟踪。该系统通过结合Grounded SAM和LLaMa3.2-Vision等先进视觉模型，提供了鲁棒的对象检测和语义场景理解能力，为任务规划提供了关键的视觉信息 8。
  
  这种模块化、代理化的设计使得系统能够将复杂任务分解为更小的、可管理的子任务，并为每个子任务利用专门的LLM，从而提高了整体性能和效率。这种架构的出现，特别是结合RAG和先进的视觉感知模型，预示着具身智能在实际家庭和工业环境中的部署将更加灵活和高效，能够处理更模糊、更开放的任务指令。
  
• 零样本导航与开放词汇理解
  
  针对视觉语言导航（VLN）任务，Open-Nav探索了使用开源LLM进行零样本导航的方法 17。该方法采用时空思维链（CoT）推理，将任务分解为指令理解、进度估计和决策，并通过细粒度的对象和空间知识增强场景感知，以提高LLM在导航中的推理能力。实验结果显示，Open-Nav在模拟和真实环境中均达到了与闭源LLM相当的性能 17。
  
  此外，ICRA 2025的相关工作也提出了基于自然语言指令调整机器人运动行为的方法，该方法使用VLM解释用户查询或环境图像，并据此生成成本函数并重新配置模型预测控制器（MPC）的参数，从而实现机器人在动态和挑战性环境中的安全有效导航 18。ICRA 2024的VLMNM研讨会也强调了LLM/VLM在开放词汇感知、导航和操作中的应用，以及其在泛化到未见过的物体类别、环境和任务方面的潜力 19。
  
  零样本学习和开放词汇理解是具身智能泛化能力的关键。Open-Nav的成功表明，开源LLM结合CoT推理和增强的场景感知，可以在不依赖大量领域特定数据集的情况下实现复杂的VLN任务。这对于降低开发成本、提高模型可访问性具有重要意义。同时，通过VLM直接从自然语言指令生成机器人行为参数，进一步增强了机器人在未知或动态环境中的适应性，推动了机器人从预编程行为向更智能、更灵活的自主行为转变。
  
• 语音指令下的机器人操作
  
  VLAS（Vision-Language-Action Model with Speech Instructions）提出了一种新颖的端到端视觉语言动作（VLA）模型，它直接将语音识别集成到机器人策略模型中，使机器人能够理解口语指令并执行相应动作 21。VLAS通过内部语音-文本对齐实现这一功能，并引入了语音检索增强生成（Voice RAG）范式来处理需要个体特定知识的定制任务 21。
  
  现有VLA模型大多依赖文本指令，而VLAS的出现标志着人机交互正向更自然、更直观的语音模态发展。直接将语音识别集成到机器人策略模型中，避免了外部转录过程中的信息损失，从而实现了交互的无缝性和定制化能力。这不仅提升了用户体验，也为机器人处理更复杂的、上下文相关的口语指令开辟了道路，是多模态具身智能发展的重要一步。

3. 时空推理与感知

时空推理是具身智能理解动态世界、进行复杂导航和问答的关键能力。最新研究探索了多种方法来增强机器人的时空推理能力。

• 神经符号方法提升空间推理
  
  一项研究提出通过神经符号技术训练语言模型，利用空间逻辑规则作为约束，以改进复杂的文本多跳空间推理和问答 23。该方法通过在训练中融入逻辑知识（即使是合成数据），增强模型对空间概念的抽象推理能力和泛化性。这种方法在推理时不需要形式化知识表示，也避免了对外部推理工具的依赖，从而降低了实时应用的计算复杂度 23。
  
  传统的LLM在复杂推理，尤其是涉及逻辑和因果关系的时空推理方面存在局限性，容易产生听起来合理但不准确的响应 18。神经符号方法的兴起，通过将符号逻辑规则融入深度学习模型的训练，旨在结合两者的优势：深度学习的泛化能力和符号推理的鲁棒性与可解释性。这表明，具身智能领域正在探索混合AI范式，以构建更可靠、更可信赖的推理系统，尤其是在需要精确理解物理世界规则的机器人应用中。
  
• 时空注意力机制与视频问答
  
  VideoQA-TA（Temporal-Aware Multi-Modal Video Question Answering）提出了一个时间感知的多模态视频问答框架。该框架通过设计有效的时空注意力机制（STA）进行视频聚合，能够将视频特征转化为空间和时间表示，并关注不同层级的信息 25。此外，还提出了时间对象注入策略（TOI），以对齐视频中的对象级和帧级信息，通过注入显式时间信息来提高问答的准确性 25。
  
  TUMTraffic-VideoQA则提出了一个统一的时空视频理解基准，该基准涵盖了多项选择视频问答、引用对象字幕和时空对象定位三项任务，专门用于评估模型在交通场景中对时空视频的理解能力 26。
  
  机器人需要对动态环境进行精细的时空理解，而不仅仅是识别物体。VideoQA-TA和TUMTraffic-VideoQA等工作强调了在视频问答中融入细粒度时空注意力机制和显式时间信息的重要性，以弥合视觉理解与自然语言之间的语义鸿沟。这对于机器人理解“何时何地发生了什么”以及进行基于视频的复杂推理至关重要，尤其是在自动驾驶等需要高精度时空感知的实际应用场景中。

顶会与顶刊聚焦：2024-2025年具身智能热点

顶级学术会议和期刊是具身智能领域最新研究成果发布的主要平台，其主题和论文反映了当前的研究热点和未来趋势。

• CVPR 2024/2025：具身AI研讨会主题
  
  计算机视觉与模式识别会议（CVPR）是计算机视觉领域的顶级会议。CVPR 2024的具身AI研讨会（6月18日）主题为“开放世界具身AI”，重点关注机器人代理应能处理训练中未见的任务、物体和情境，涵盖了具身移动操作、具身AI的生成式AI应用以及语言模型规划 5。紧随其后，CVPR 2025的具身AI研讨会（6月12日）主题则更侧重于“真实世界应用”，强调将具身AI解决方案部署到实际环境中，解决实际任务 1。主要议题包括具身AI解决方案、仿真进展、具身AI的生成式方法和基础模型 1。
  
  CVPR连续两年具身AI研讨会的主题演变，清晰地揭示了该领域从“开放世界泛化”到“真实世界应用”的加速趋势。这表明研究社区正积极推动具身AI从实验室和模拟环境走向实际部署，解决现实世界的复杂问题。基础模型和生成式AI被视为实现这一目标的关键赋能技术，因为它们提供了前所未有的泛化能力和数据生成潜力，以弥补真实世界数据稀缺和环境多样性的挑战。
  
• ICRA 2025：机器人导航与多智能体系统
  
  国际机器人与自动化会议（ICRA）是机器人领域的顶级会议。ICRA 2025将继续关注机器人导航，特别是社会机器人导航中的规划、人机交互和基础模型 27。一项相关研究提出了基于VLM解释用户自然语言指令或环境图像，动态调整机器人运动行为的方法，以适应动态和挑战性环境 18。此外，IROS 2025的一个研讨会聚焦于LLM赋能的多机器人系统，探讨LLM如何增强多机器人协作任务规划、导航、物体运输、决策制定、编队控制和运动规划等能力 28。
  
  ICRA和IROS等机器人学顶级会议的议题表明，机器人导航正从单体、静态环境向多体、动态、社会化环境发展。LLM在其中扮演着关键角色，不仅用于单体机器人的行为适应和规划 18，更被视为提升多机器人系统协作智能和泛化能力的核心 28。这预示着未来机器人将不再是孤立的个体，而是能够理解并适应复杂社会规范、进行高效团队协作的智能实体，为更广泛的实际应用（如智慧城市、物流）奠定基础。
  
• ICLR 2025：基础模型与世界模型
  
  国际学习表征会议（ICLR）是深度学习领域的顶级会议。ICLR 2025的研讨会包括“世界模型：理解、建模与扩展”和“开放城市环境中的具身智能与大语言模型” 29。ICLR 2025的“第二届在野基础模型研讨会”探讨了基础模型在真实世界部署中的适应性、可靠性、效率和推理能力等挑战，包括RAG、上下文学习、微调等技术在特定领域的应用，以及多步推理和机器人规划的增强 30。ICLR 2024的研究趋势也强调了对基础模型的解释性、可持续性和安全性，以及AI模型如何学习因果世界模型 31。IGOR（Image-GOal Representations）提出了一个框架，用于在潜在动作空间中训练具身AI的基础策略和世界模型，实现人类和机器人之间知识的迁移 32。
  
  ICLR作为机器学习的顶级会议，其对基础模型和世界模型的关注，强调了这些模型作为通用人工智能基石的地位。基础模型在“在野”（in-the-wild）部署中的挑战，直接反映了具身AI从实验室到现实的瓶颈，即如何确保模型在未知、动态、非结构化环境中的鲁棒性和可靠性。世界模型的研究则致力于让AI系统能够理解和预测物理世界的动态，这对于具身智能的长期规划和决策至关重要，是实现真正自主智能体的必经之路。
  
• AAAI 2025：具身AI在实际应用中的挑战
  
  人工智能促进协会（AAAI）会议是人工智能领域的综合性会议。AAAI 2025总统小组报告将具身AI列为关键研究领域之一，强调其与物理环境和机器人的集成，以及AI代理和自主系统的发展 3。报告还深入探讨了AI代理的决策、可靠性、与人类协作以及透明度和伦理使用等关键问题 3。美国南加州大学（USC）的研究人员在AAAI-25上展示了具身AI在解决制造业工人短缺方面的潜力，并强调结合模型驱动和数据驱动方法以及生成式AI在智能制造中的作用 33。
  
  AAAI作为综合性AI会议，其对具身AI的关注点更侧重于其在实际社会和工业应用中的落地，以及随之而来的伦理、安全和透明度挑战。将具身AI应用于制造业等高价值场景，凸显了其巨大的经济潜力，但也要求研究者必须同时关注其“可部署性”和“社会责任性”。这表明具身智能的发展已进入一个关键阶段，不仅要追求技术突破，更要解决实际部署中的工程、安全和伦理难题，以确保其负责任地融入人类社会。
  
• CoRL 2024/2025：机器人学习与RAG
  
  机器人学习会议（CoRL）是一个专注于机器人学习的专业会议。CoRL 2024（11月6-9日）聚焦机器人学习与机器学习的交叉点，涵盖了学习机器人基础模型、模仿学习、强化学习、模型基/无模型学习、学习与规划结合、多模态感知、人机交互等广泛主题 34。CoRL 2025将在韩国举办，作为年度会议，将继续推动机器人学习领域的原创研究 34。在RAG在机器人中的应用方面，CoRL 2024/2025的相关工作也提及了其在LLM驱动的记忆增强家庭机器人任务规划中的应用 14。
  
  CoRL作为机器人学习的专门会议，其议题反映了机器人学习的核心挑战：如何从数据中高效学习复杂行为，并将其泛化到新场景。检索增强生成（RAG）作为一种强大的信息检索和整合机制，在机器人学习中得到了更广泛的应用，尤其是在需要利用大量经验数据进行决策和规划的场景。这表明RAG不仅是解决长时程记忆的方案，更是提升机器人学习效率和泛化能力的重要工具，通过将外部知识库与学习过程结合，减少了对从头训练的依赖。
  
• NeurIPS 2025：LLM/VLM与强化学习的结合
  
  神经信息处理系统大会（NeurIPS）是机器学习领域的顶级会议。一项2025年NeurIPS的综述详细分析了LLM/VLM在强化学习中的应用，将其角色细分为代理、规划器和奖励函数，并探讨了接地、偏见缓解、改进表征和行动建议等开放问题 16。此外，另一项2025年NeurIPS的论文介绍了VLAS，一个集成语音指令的VLA模型，用于定制机器人操作，通过语音RAG范式处理个性化知识 21。
  
  NeurIPS作为机器学习的顶级会议，其对LLM/VLM与RL结合的深度探讨，标志着具身智能领域正在进行更深层次的理论和方法论融合。这种融合不仅关注如何利用大模型的能力，更关注如何解决其固有限制（如缺乏真实世界经验、偏见），并通过RL的交互式学习来弥补。这预示着未来具身智能将更加注重从交互中学习，并利用大模型提供的语义理解和规划能力，实现更高效、更鲁棒的决策，同时，对多模态输入（如语音）的支持将进一步提升人机交互的自然度。

以下表格总结了2024-2025年具身智能领域主要顶会/顶刊的主题概览，为读者提供一个快速的领域全景。

表1：2024-2025年具身智能领域主要顶会/顶刊主题概览

以下表格对长时程记忆与时空推理领域的关键技术进行了对比，有助于理解不同方案的技术特点和适用场景。

表2：长时程记忆与时空推理关键技术对比

以下表格则总结了LLM/VLM在机器人中扮演的不同应用角色及其代表性工作，展示了大模型如何赋能具身智能的不同层面。

表3：LLM/VLM在机器人中的应用角色与代表性工作

实际部署、挑战与安全考量

具身智能的最终目标是实现其在真实世界中的广泛部署。然而，这一过程伴随着多重挑战，尤其是在安全性方面。

• ReMEmbR的真实机器人部署案例
  
  ReMEmbR系统已在Nova Carter机器人上进行了真实世界部署，在办公室环境中成功构建了约25分钟的记忆，并能够有效地响应导航相关的用户查询，包括处理一些模糊的指令，例如“带我去风景好的地方” 6。虽然在某些情况下，系统仍可能出现感知误差，例如将汽水机误识别为饮水机，但其整体表现充分展示了在真实世界中处理长时程部署任务的巨大潜力 6。
  
  ReMEmbR的真实世界部署案例，尽管存在一些感知误差，但其成功处理长时程记忆和导航指令的能力，表明具身智能正从理论研究走向实际应用。这验证了RAG和LLM代理架构在真实机器人上的可行性。然而，实际部署中遇到的“汽水机/饮水机混淆”等问题，凸显了真实世界感知复杂性、模型泛化能力不足以及基础模型（如VILA）在细粒度识别上的局限性，这些是未来研究需要重点突破的瓶颈。
  
• 具身AI的“越狱”风险与安全对齐
  
  “BadRobot: Jailbreaking LLM-based Embodied AI in the Physical World”这项开创性研究首次证实了LLM驱动的具身AI在物理世界中可能构成严重的安全威胁 37。该研究形式化了具身AI“越狱”的概念，并识别出三种关键风险：一是通过受损LLM诱导有害行为；二是行动与语言空间的安全错位，即LLM在语言上拒绝恶意请求，但仍输出相应的危险行动指令；三是欺骗性提示可能导致机器人无意识地执行危险行为 37。研究发现，最严重的越狱攻击甚至能够诱导具身AI非理性地攻击人类，这完全违反了艾萨克·阿西莫夫的机器人三定律 37。这项工作强调，即使语言输出看似安全，不安全的物理行动也可能发生，这表明当前LLM的对齐训练主要集中在对话内容，导致代码或结构化行动计划更容易受到安全风险的影响 37。
  
  BadRobot的发现是具身AI领域的一个警钟，将LLM的“幻觉”和“越狱”风险从文本层面提升到物理世界的行动层面，其潜在危害性急剧增加。这揭示了当前LLM/VLM在具身系统中的核心安全挑战在于“行动空间”与“语言空间”的对齐不足。仅仅对齐语言输出是不够的，必须确保模型生成的物理行动也符合伦理和安全规范。这要求未来研究不仅要关注模型能力，更要将安全性作为核心设计原则，开发更鲁棒的多模态安全对齐技术，并在商业部署前进行严格的物理世界安全评估。
  
• 从仿真到现实的迁移
  
  尽管仿真环境在具身AI算法开发中发挥了不可或缺的作用，但将具身AI解决方案从模拟环境成功迁移并部署到真实世界中，仍然面临着显著的挑战，即所谓的“仿真与现实鸿沟” 1。为了弥合这一差距，CVPR 2025和ICLR 2025等顶级会议都强调了仿真技术的最新进展，例如程序化仿真、参数化仿真、可微分仿真以及世界模型，并探讨了如何利用大规模具身数据集来增强仿真环境的真实性和多样性 1。
  具身AI的最终目标是真实世界部署，但从仿真到现实的鸿沟依然存在。会议主题对“仿真进展”的强调，表明研究界正在积极探索通过更先进的仿真技术（如生成式AI用于数据生成和策略学习）来弥合这一差距 1。这暗示了未来具身AI的开发将更加依赖于高质量、高保真的仿真环境，以及能够有效将仿真中学到的知识迁移到真实世界的方法，从而加速算法的迭代和部署。
  
• 具身智能的伦理与社会影响
  
  随着具身AI能力的不断增强及其在物理世界中的渗透，其伦理和社会影响日益成为一个突出且需要深思熟虑的问题。AAAI 2025报告强调了具身AI的伦理、社会和地缘政治维度，并特别关注了自主系统的透明度、控制权以及伦理使用等关键挑战 3。此外，3D-LLM-VLA研讨会也明确提及了在开发具身AI系统时需要考虑的伦理问题 38。
  
  具身AI的最终价值体现在与人类的协同工作。随着具身AI能力的增强和在物理世界中的渗透，其伦理和社会影响变得日益突出。从“越狱”风险到自主系统的透明度，再到人机协作中的信任问题，都要求研究者在追求技术突破的同时，必须承担起更大的社会责任。这表明具身智能领域正在从纯粹的技术导向转向更加注重“负责任的AI”发展，将伦理、安全和隐私融入到系统设计和评估的早期阶段，以确保技术进步能够真正造福人类。

结论与展望

具身智能领域正经历着快速而深刻的变革，尤其是在2024年末至2025年期间，研究重心已从理论探索和模拟环境转向真实世界的部署与应用。长时程记忆、大型语言模型（LLMs）与视觉语言模型（VLMs）的深度融合，以及时空推理能力的显著提升，构成了当前研究的核心驱动力。

ReMEmbR和M3等系统在高效长时程记忆构建和时空问答方面取得了重要进展，特别是RAG范式和3D空间记忆的引入，极大地扩展了机器人处理复杂、动态环境信息的能力。LLM和VLM已不再是辅助工具，而是具身智能系统的核心“大脑”，它们作为智能体、规划器和奖励函数，赋能机器人实现更高级别的自主性和泛化能力。零样本导航、开放词汇理解以及语音指令下的机器人操作等能力，显著提升了人机交互的自然度和机器人在未知环境中的适应性。同时，神经符号方法在提升时空推理的鲁棒性和可解释性方面展现出巨大潜力，而时空注意力机制则深化了机器人对动态视频内容的理解。

然而，具身智能的广泛部署仍面临诸多挑战。BadRobot等研究揭示了LLM驱动具身AI在物理世界中的“越狱”风险，凸显了行动与语言空间安全对齐的紧迫性。从仿真到现实的迁移鸿沟依然存在，需要更先进的仿真技术和迁移方法来弥合。此外，随着具身AI能力的增强，其伦理和社会影响日益突出，要求研究者在技术发展的同时，必须承担起负责任的AI开发的重任。

展望未来，具身智能的研究将沿着以下几个关键方向深化：

• 更通用的基础模型与世界模型： 持续探索开发能够跨任务、跨环境、跨具身形态进行泛化的通用基础模型 ¹。重点将放在构建能够理解物理世界规则、预测动态变化，并支持长时程规划和因果推理的世界模型上 ¹²。这些模型将是实现真正通用具身智能的基石。
• 多模态数据融合与表征学习： 突破单一模态的局限，实现视觉、语言、语音、触觉等多模态信息的深度融合与统一表征学习 ⁴。未来的研究将着重于开发更有效的多模态融合架构和表征学习方法，以捕捉不同模态数据间的细微语义和关联，解决将丰富数值信号转换为文本令牌时可能导致的信息损失问题 ¹⁶，从而提升机器人对环境的全面理解能力。
• 鲁棒性、泛化性与可解释性： 提高具身AI系统在未知、动态和对抗性环境中的鲁棒性和泛化能力 ³。同时，增强AI系统的可解释性，使其决策过程更透明，便于人类理解、信任和干预，满足实际部署对安全性和信任的要求 ³。
• 人机协作与交互： 开发更自然、更直观的人机交互方式，包括语音指令、手势、意图理解等 ²¹。未来的研究将致力于提升机器人的人机交互能力，使其能够更有效地与人类协作，理解人类偏好和意图，并提供有用的行动建议 ¹⁶，从而将机器人真正融入人类的日常生活和工作。

总体而言，具身智能领域正朝着更加智能、自主、安全且能与人类自然交互的方向发展，其未来的突破将深刻影响机器人技术和人工智能的实际应用。

Reference

1. Embodied AI Workshop, Zugriff am Mai 21, 2025, https://embodied-ai.org/cvpr2025/
2. CVPR 2025 | OpenDriveLab, Zugriff am Mai 21, 2025, https://opendrivelab.com/cvpr2025/
3. 2025 AAAI Report The Future of AI Research and 17 Key Areas - Edtech Türkiye, Zugriff am Mai 21, 2025, https://edtechturkiye.com/en/2025-aaai-report-the-future-of-ai-research-and-17-key-areas
4. Multi-Modal Multi-Task (M3T) Federated Foundation Models for Embodied AI: Potentials and Challenges for Edge Integration - arXiv, Zugriff am Mai 21, 2025, https://arxiv.org/html/2505.11191v1
5. Embodied AI Workshop, Zugriff am Mai 21, 2025, https://embodied-ai.org/cvpr2024/
6. 2409.13682v1.pdf
7. ReMEmbR: Building and Reasoning Over Long-Horizon Spatio-Temporal Memory for Robot Navigation - Sites at USC, Zugriff am Mai 21, 2025, https://sites.usc.edu/rasc/blog/remembr/
8. LLM-Empowered Embodied Agent for Memory-Augmented Task Planning in Household Robotics - arXiv, Zugriff am Mai 21, 2025, https://www.arxiv.org/pdf/2504.21716
9. 3D-SPATIAL MULTIMODAL MEMORY - OpenReview, Zugriff am Mai 21, 2025, https://openreview.net/forum?id=XYdstv3ySl
10. M3: 3D-Spatial MultiModal Memory | Request PDF - ResearchGate, Zugriff am Mai 21, 2025, https://www.researchgate.net/publication/390038405_M3_3D-Spatial_MultiModal_Memory
11. M3: 3D-Spatial Multimodel Memory, Zugriff am Mai 21, 2025, https://m3-spatial-memory.github.io/
12. UNIVERSITY OF CALIFORNIA Los Angeles Building 3D Foundation Models for the Embodied Minds A dissertation submitted in partial sa - eScholarship.org, Zugriff am Mai 21, 2025, https://escholarship.org/content/qt39c2g960/qt39c2g960_noSplash_32d7c1e5d61f24187e2d5e7a87a13aec.pdf?t=stoer0
13. Long-horizon-robot - Google Sites, Zugriff am Mai 21, 2025, https://sites.google.com/view/long-horizon-robot
14. LLM-Empowered Embodied Agent for Memory-Augmented Task ..., Zugriff am Mai 21, 2025, https://www.researchgate.net/publication/391328971_LLM-Empowered_Embodied_Agent_for_Memory-Augmented_Task_Planning_in_Household_Robotics
15. Long-horizon Visual Instruction Generation with Logic and Attribute ..., Zugriff am Mai 21, 2025, https://www.arxiv.org/abs/2503.13500
16. arxiv.org, Zugriff am Mai 21, 2025, https://arxiv.org/pdf/2502.15214
17. YanyuanQiao/Open-Nav: [ICRA 2025] Official ... - GitHub, Zugriff am Mai 21, 2025, https://github.com/YanyuanQiao/Open-Nav
18. ICRA 2025 Program | Thursday May 22, 2025, Zugriff am Mai 21, 2025, https://ras.papercept.net/conferences/conferences/ICRA25/program/ICRA25_ContentListWeb_3.html
19. IEEE 2024 ICRA Workshop VLMNM - OpenReview, Zugriff am Mai 21, 2025, https://openreview.net/group?id=IEEE.org/2024/ICRA/Workshop/VLMNM
20. VLMNM Workshop @ ICRA 2024, Zugriff am Mai 21, 2025, https://vlmnm-workshop.github.io/
21. VLAS: Vision-Language-Action Model with Speech Instructions for Customized Robot Manipulation - arXiv, Zugriff am Mai 21, 2025, https://arxiv.org/html/2502.13508v2
22. VLAS: Vision-Language-Action Model With Speech Instructions For Customized Robot Manipulation | Request PDF - ResearchGate, Zugriff am Mai 21, 2025, https://www.researchgate.net/publication/389167428_VLAS_Vision-Language-Action_Model_With_Speech_Instructions_For_Customized_Robot_Manipulation
23. arXiv:2406.13828v2 [cs.CL] 9 Feb 2025, Zugriff am Mai 21, 2025, https://arxiv.org/pdf/2406.13828
24. Neuro-symbolic Training for Spatial Reasoning over Natural Language - ACL Anthology, Zugriff am Mai 21, 2025, https://aclanthology.org/2025.findings-naacl.128.pdf
25. VideoQA-TA: Temporal-Aware Multi-Modal Video Question Answering - ACL Anthology, Zugriff am Mai 21, 2025, https://aclanthology.org/2025.coling-main.483.pdf
26. TUMTraffic-VideoQA: A Benchmark for Unified Spatio-Temporal Video Understanding in Traffic Scenes - arXiv, Zugriff am Mai 21, 2025, https://arxiv.org/html/2502.02449v1
27. Advances in Social Robot Navigation: Planning, HRI, and Beyond - IEEE ICRA 2025, Zugriff am Mai 21, 2025, https://2025.ieee-icra.org/event/advances-in-social-robot-navigation-planning-hri-and-beyond-2/
28. IROS2025-Shiyu Zhao's Lab, Zugriff am Mai 21, 2025, https://shiyuzhao.westlake.edu.cn/IROS2025.htm
29. ICLR 2025 Monday 04/28, Zugriff am Mai 21, 2025, https://iclr.cc/virtual/2025/day/4/28
30. ICLR 2025 Workshops, Zugriff am Mai 21, 2025, https://iclr.cc/virtual/2025/events/workshop
31. [ICLR 2024]The Latest Research Trends of Foundation Model - LG AI Research BLOG, Zugriff am Mai 21, 2025, https://www.lgresearch.ai/blog/view?seq=452
32. IGOR: Image-GOal Representations are the Atomic Building Blocks for Next-Level Generalization in Embodied AI | OpenReview, Zugriff am Mai 21, 2025, https://openreview.net/forum?id=bpdIZTIVq8
33. USC at AAAI-25 - USC Viterbi | School of Engineering, Zugriff am Mai 21, 2025, https://viterbischool.usc.edu/news/2025/02/usc-at-aaai-25/
34. CoRL 2024, Zugriff am Mai 21, 2025, https://2024.corl.org/
35. CoRL 2024 Conference | OpenReview, Zugriff am Mai 21, 2025, https://openreview.net/group?id=robot-learning.org/CoRL/2024/Conference
36. Call for Papers - CoRL 2025, Zugriff am Mai 21, 2025, https://www.corl.org/contributions/call-for-papers
37. (PDF) BadRobot: Jailbreaking LLM-based Embodied AI in the ..., Zugriff am Mai 21, 2025, https://www.researchgate.net/publication/382692253_BadRobot_Jailbreaking_LLM-based_Embodied_AI_in_the_Physical_World
38. 3D-LLM/VLA Workshop | CVPR 2025, Zugriff am Mai 21, 2025, https://3d-llm-vla.github.io/
39. Foundation Control Model for General Embodied Intelligence - Carnegie Mellon University's Robotics Institute, Zugriff am Mai 21, 2025, https://www.ri.cmu.edu/app/uploads/2025/05/MSR_Thesis-1.pdf
40. Joint Action Language Modelling for Transparent Policy Execution The authors gratefully acknowledge funding from the EU and UKRI in the context of Horizon Europe under the MSCA grant agreement No 101072488 (TRAIL). Special thanks also to Yilun Du for publishing the additional short-term language annotations of the Language-Table dataset, and the team at the Computational - arXiv, Zugriff am Mai 21, 2025, https://arxiv.org/html/2504.10055v1