一、为什么做这件事？ 如果说大语言模型让 AI 学会了"说"，那具身智能（Embodied AI）就是让 AI 学会"做"——它不仅要理解人类语言，还要在物理世界中执行动作。 这件事的难度远超想象。传统的机器人控制依赖精确编程：每个关节角度、每条运动轨迹都需要工程师手动设计。一旦环境发生变化——比如物体位置移动了几厘米，整套程序就可能失效。 模仿学习（Imitation Learning） 提供了一条完全不同的路径：让人先做一遍，机器人看着学。这就像师傅带徒弟——不需要写任何控制代码，只需要"手把手"教它。 本项目的核心目标是：在一个低成本开源机械臂上，实现端到端的视觉-语言-动作（VLA）闭环控制——你只需说一句话，机械臂就能自主完成任务。 二、硬件平台：开源六轴机械臂 SO-101
具身智能领域最新研究成果报告：2024年末至2025年顶刊顶会综述 引言：具身智能及其研究背景 具身智能（Embodied AI）旨在构建能够与物理世界进行感知、行动和学习互动的智能体，例如机器人。其核心目标是使机器人在复杂、动态的真实环境中自主执行任务，并展现出类似于人类的理解、规划与决策能力 1。这一新兴领域深度融合了计算机视觉、自然语言处理、强化学习和机器人学等前沿学科的最新进展，旨在将人工智能从传统的被动信息处理模式提升至主动的物理世界交互层面 1。 在机器人长期部署的场景中，例如持续数小时乃至数天的运行，如何高效地积累、存储并检索其在部署过程中所感知到的海量历史信息，包括动态事件和非静态物体，对于机器人理解环境、响应用户查询以及执行复杂任务而言至关重要 6。传统的机器人系统在处理长时间跨度的感知数据时面临显著挑战。例如，基于Transformer的模型在处理长视频上下文时计算成本高昂，而如LSTM等状态空间模型可能出现“遗忘”现象，限制了机器人对过去经验进行时空推理的能力 6。因此，开发可扩展、高效的长时程记忆机制，以支持机器人对“看到了什么”、“在哪里发生”、“什么
📅 本项目完成于 2023 年，是早期探索多模态大模型与机器人控制结合的实践。 一、背景：让机械臂"听懂人话" 2023 年，GPT-4V、GLM-4V 等多模态大模型相继发布。它们不仅能读懂文字，还能"看懂"图片——这为机器人控制打开了一扇全新的大门。 传统机械臂编程需要逐帧定义关节轨迹，费时费力且毫无泛化能力。而多模态大模型天生具备语义理解 + 视觉感知的能力——如果能让大模型直接"指挥"机械臂，会怎样？ 带着这个问题，我们开发了一套基于 GLM-4V 多模态大模型的智能机械臂系统：用户只需用自然语言说出任务（如"把桌面上的方块捡起来"），系统就能自主完成从感知到执行的全流程闭环。 二、系统架构：四大模块协同 系统由四个核心模块构成，数据在它们之间流转形成完整的感知-决策-执行链路： 模块技术方案部署位置职责 语音识别OpenAI WhisperPC