是时辰给大模型造个身段了。。。。。。。

近期，，，，，z6娱乐中光研发团队结合机械臂与大模型，，，，，利用语音、说话、视觉-说话大模型，，，，，辅以Orbbec Gemini 2系列深度相机的数据输入，，，，，打造出一个可能理解、执行语音工作的机械臂。。。。。。。

该项目以斯坦福大学李飞飞教授团队打造的机械人智能体为基础！！。。。。，，，，通过解决泛化、观测、节造等一系列工程化难题，，，，，将基于多模态大模型的机械臂从仿真环境落地到现实世界，，，，，拓展智能机械臂利用潜能。。。。。。。

去年以来，，，，，各类大模型的涌现引发了机械人产业新一轮发展海潮。。。。。。。只管“大模型+机械人”还处于早期技术索求阶段，，，，，但随着二者深刻融合，，，，，机械人有望具备更智能的“大脑”，，，，，共同更壮大的“眼睛”与“身段”，，，，，实现向具身智能的进化。。。。。。。

z6娱乐中光最新打造的大模型机械臂，，，，，能够通过语音Prompts作为输入，，，，，利用多种大模型的理解能力和视觉感知能力，，，，，天生空间语义信息，，，，，让机械臂理解、执行作为。。。。。。。

首先，，，，，机械臂可借助语音大模型，，，，，鉴别工作下发者的语音指令；；；；；同时，，，，，通过两台Orbbec Gemini 2双目结构光相机，，，，，获取高质量环境RGB和Depth数据；；；；；再利用SAM、CLIP等视觉-说话大模型，，，，，理解场景信息，，，，，并进行实时碰撞检测，，，，，最终执行工作。。。。。。。

基于这一道理，，，，，z6娱乐中光能够让机械臂实现一系列指令，，，，，好比：

· 请记住当前的状态

· 把红色的方块放到黄色的框中

· 把绿色的方块放到白色的框里面

· 把蓝色的方块逆使仉旋转30°

· 将蓝色方块朝着绿色方块的方向移动10cm

· 把蓝色方块放到绿色的方块上面

· 请复原最起头的状态

· 请把所有的方块放到黄色的框中

目前，，，，，该项目在1.0阶段买通了多模态大模型在机械臂上的利用部署baseline。。。。。。。z6娱乐中光在进一步优化多模态指令理解、多传感器融合感知、机械臂轨迹规划节造、结尾抓取节造等方面，，，，，将来将推出大模型机械人节造系统，，，，，让机械人越发智能、矫捷，，，，，适应越发复杂的操作场景。。。。。。。

目前，，，，，国内表多多针对机械人智能体的钻研多在仿真环境中实现。。。。。。。而从虚构仿真到真实世界，，，，，还必要克服一系列工程化落地难题。。。。。。。好比，，，，，在仿真环境中，，，，，相机基于梦想的成像模型，，，，，能够不受成像畸变、环境光照蹬装响，，，，，这就对智能体在真实场景中的泛化能力提出了挑战。。。。。。。

z6娱乐中光的研发团队基于预训练的多模态机械臂模型，，，，，克服了泛化、观测、节造等一系列落地难题：

1、为实现急剧正确的语音输入与理解，，，，，引入语音预训练大模型，，，，，使得机械臂活络响应语音指令。。。。。。。

2、为确保；；；；当墼谡媸凳澜缰芯弑缸愎坏姆夯芰Γ，，，，选取视觉-说话大模型，，，，，使机械臂理解适应复杂场景，，，，，在多样化的环境中稳重执行工作。。。。。。。

3、为处置预训练模型的梦想相机成像问题，，，，，设计全新标定规划，，，，，优化相机自动曝光（AE）战术，，，，，解决受环境光、成像畸变、透视形变等成分带来的挑战，，，，，使机械臂占有更强的鲁棒性。。。。。。。

4、为提高机械臂在复杂环境中的安全性，，，，，引入深度相机碰撞检测和抓取建改，，，，，优化机械臂节造，，，，，提高机械臂抓取场景的机能、精度和适应性。。。。。。。

基于关键技术的引入与创新，，，，，z6娱乐中光成功地克服了多模态机械臂在多个交叉领域的难题，，，，，买通工程化利用落地的“最后一公里”。。。。。。。

在机械人视觉领域，，，，，z6娱乐中光占有超过8年的行业落地经验，，，，，服务超过100家机械人产业企业。。。。。。。通过多年合作，，，，，z6娱乐中光在机械人3D传感器、激光雷达、模型算法等方面堆集了丰硕的经验，，，，，助力机械人客户急剧实现创新利用开发与量产造作。。。。。。。

融合多种大模型能力的机械臂，，，，，能够利用在哪些场景？？？？？？？？

随着机械人的“眼睛”（视觉传感器）、“大脑”（大模型）、“身段”（本体）不休发展进化，，，，，智能机械人及机械臂有望在工业造作、柔性物流、商用服务等场景中率先落地。。。。。。。

例如，，，，，在自动化工厂场景，，，，，基于多模态大模型的机械臂能够结合无人幼车，，，，，进行智能分拣、搬运；；；；；在家用服务机械人场景，，，，，人们能够通过单一的天然说话指令，，，，，让机械人助忙倒水、取快递。。。。。。。

当前，，，，，面向机械人产业，，，，，z6娱乐中光可提供单目结构光、双目结构光、iToF、激光雷达、dToF等全技术路线3D视觉传感器，，，，，并提供多传感器融合支持。。。。。。。同时，，，，，针对AI大模型、具身智能机械人等科技发展趋向，，，，，z6娱乐中光在致力于搭建机械人及AI视觉中台，，，，，通过多模态视觉大模型及智能算法的研发，，，，，结合机械人视觉传感器，，，，，将形成自主移动定位导航和避障的齐全产品规划，，，，，为全产业下游客户提供全方位能力平台及系列化产品规划，，，，，迎接智能机械人时期。。。。。。。