奥比中光官网消息,近期,奥比中光研发团队结合机械臂与大模型,利用语音、语言、视觉-语言大模型,辅以Orbbec Gemini 2系列深度相机的数据输入,打造出一个能够理解、执行语音任务的机械臂。该项目将基于多模态大模型的机械臂从仿真环境落地到现实世界,拓展智能机械臂应用潜能。
目前,该项目在1.0阶段打通了多模态大模型在机械臂上的应用部署baseline。奥比中光正在进一步优化多模态指令理解、多传感器融合感知、机械臂轨迹规划控制、末端抓取控制等方面,未来将推出大模型机器人控制系统,让机器人更加智能、灵活,适应更加复杂的操作场景。