具身智能领域最新研究成果报告:2024年末至2025年顶刊顶会综述 引言:具身智能及其研究背景 具身智能(Embodied AI)旨在构建能够与物理世界进行感知、行动和学习互动的智能体,例如机器人。其核心目标是使机器人在复杂、动态的真实环境中自主执行任务,并展现出类似于人类的理解、规划与决策能力 1。这一新兴领域深度融合了计算机视觉、自然语言处理、强化学习和机器人学等前沿学科的最新进展,旨在将人工智能从传统的被动信息处理模式提升至主动的物理世界交互层面 1。 在机器人长期部署的场景中,例如持续数小时乃至数天的运行,如何高效地积累、存储并检索其在部署过程中所感知到的海量历史信息,包括动态事件和非静态物体,对于机器人理解环境、响应用户查询以及执行复杂任务而言至关重要 6。传统的机器人系统在处理长时间跨度的感知数据时面临显著挑战。例如,基于Transformer的模型在处理长视频上下文时计算成本高昂,而如LSTM等状态空间模型可能出现“遗忘”现象,限制了机器人对过去经验进行时空推理的能力 6。因此,开发可扩展、高效的长时程记忆机制,以支持机器人对“看到了什么”、“在哪里发生”、“什么
AI
6 Posts你是否遇到过这些场景? * PPT大段外语,根本get不到重点🥲 * 老师只会念PPT/全程讲外语/说话太小声/口音很重,上课体验不佳😴 * 但是考试却以PPT为主😭 最近我开发了一个小工具 PPT-Study-Agent,用视觉语言模型(VLM)帮你自动化处理PPT学习。欢迎来GitHub看看: ➡️ 项目地址:https://github.com/Alan1112223331/PPT-Study-Agent ⬅️ 功能亮点 * 多格式支持:.ppt/.pptx/.pdf 直接读取 * AI讲解与翻译:解析文字、图表与排版逻辑 * 上下文关联:跨页追踪概念演进 * 进度可视化:实时显示处理状态 适合人群 * 需要处理外文课件的各类人群 项目持续迭代中,欢迎Star/Issue/PR ✨ TODO * 完成公式显示的支持 * 优化文件保存系统 * 添加多用户管理系统
📅 本项目完成于 2023 年,是早期探索多模态大模型与机器人控制结合的实践。 一、背景:让机械臂"听懂人话" 2023 年,GPT-4V、GLM-4V 等多模态大模型相继发布。它们不仅能读懂文字,还能"看懂"图片——这为机器人控制打开了一扇全新的大门。 传统机械臂编程需要逐帧定义关节轨迹,费时费力且毫无泛化能力。而多模态大模型天生具备语义理解 + 视觉感知的能力——如果能让大模型直接"指挥"机械臂,会怎样? 带着这个问题,我们开发了一套基于 GLM-4V 多模态大模型的智能机械臂系统:用户只需用自然语言说出任务(如"把桌面上的方块捡起来"),系统就能自主完成从感知到执行的全流程闭环。 二、系统架构:四大模块协同 系统由四个核心模块构成,数据在它们之间流转形成完整的感知-决策-执行链路: 模块技术方案部署位置职责 语音识别OpenAI WhisperPC