是時(shí)候給大模型造個(gè)身體了。

近期，奧比中光研發(fā)團隊結合機械臂與大模型，利用語(yǔ)音、語(yǔ)言、視覺(jué)-語(yǔ)言大模型，輔以Orbbec Gemini 2系列深度相機的數據輸入，打造出一個(gè)能夠理解、執行語(yǔ)音任務(wù)的機械臂。

該項目以斯坦福大學(xué)李飛飛教授團隊打造的機器人智能體為基礎，通過(guò)解決泛化、觀(guān)測、控制等一系列工程化難題，將基于多模態(tài)大模型的機械臂從仿真環(huán)境落地到現實(shí)世界，拓展智能機械臂應用潛能。

去年以來(lái)，各類(lèi)大模型的涌現引發(fā)了機器人產(chǎn)業(yè)新一輪發(fā)展浪潮。盡管“大模型+機器人”還處于早期技術(shù)探索階段，但隨著(zhù)二者深入融合，機器人有望具備更智能的“大腦”，配合更強大的“眼睛”與“身體”，實(shí)現向具身智能的進(jìn)化。

奧比中光最新打造的大模型機械臂，可以通過(guò)語(yǔ)音Prompts作為輸入，利用多種大模型的理解能力和視覺(jué)感知能力，生成空間語(yǔ)義信息，讓機械臂理解、執行動(dòng)作。

首先，機械臂可借助語(yǔ)音大模型，識別任務(wù)下發(fā)者的語(yǔ)音指令；同時(shí)，通過(guò)兩臺Orbbec Gemini 2雙目結構光相機，獲取高質(zhì)量環(huán)境RGB和Depth數據；再利用SAM、CLIP等視覺(jué)-語(yǔ)言大模型，理解場(chǎng)景信息，并進(jìn)行實(shí)時(shí)碰撞檢測，最終執行任務(wù)。

基于這一原理，奧比中光可以讓機械臂完成一系列指令，比如：

· 請記住當前的狀態(tài)

· 把紅色的方塊放到黃色的框中

· 把綠色的方塊放到白色的框里面

· 把藍色的方塊逆時(shí)針旋轉30°

· 將藍色方塊朝著(zhù)綠色方塊的方向移動(dòng)10cm

· 把藍色方塊放到綠色的方塊上面

· 請恢復最開(kāi)始的狀態(tài)

· 請把所有的方塊放到黃色的框中

目前，該項目在1.0階段打通了多模態(tài)大模型在機械臂上的應用部署baseline。奧比中光正在進(jìn)一步優(yōu)化多模態(tài)指令理解、多傳感器融合感知、機械臂軌跡規劃控制、末端抓取控制等方面，未來(lái)將推出大模型機器人控制系統，讓機器人更加智能、靈活，適應更加復雜的操作場(chǎng)景。

目前，國內外眾多針對機器人智能體的研究多在仿真環(huán)境中完成。而從虛擬仿真到真實(shí)世界，還需要克服一系列工程化落地難題。比如，在仿真環(huán)境中，相機基于理想的成像模型，可以不受成像畸變、環(huán)境光照等影響，這就對智能體在真實(shí)場(chǎng)景中的泛化能力提出了挑戰。

奧比中光的研發(fā)團隊基于預訓練的多模態(tài)機械臂模型，克服了泛化、觀(guān)測、控制等一系列落地難題：

1、為實(shí)現快速準確的語(yǔ)音輸入與理解，引入語(yǔ)音預訓練大模型，使得機械臂靈敏響應語(yǔ)音指令。

2、為確保機械臂在真實(shí)世界中具備足夠的泛化能力，采用視覺(jué)-語(yǔ)言大模型，使機械臂理解適應復雜場(chǎng)景，在多樣化的環(huán)境中穩健執行任務(wù)。

3、為處理預訓練模型的理想相機成像問(wèn)題，設計全新標定方案，優(yōu)化相機自動(dòng)曝光（AE）策略，解決受環(huán)境光、成像畸變、透視形變等因素帶來(lái)的挑戰，使機械臂擁有更強的魯棒性。

4、為提高機械臂在復雜環(huán)境中的安全性，引入深度相機碰撞檢測和抓取修正，優(yōu)化機械臂控制，提高機械臂抓取場(chǎng)景的性能、精度和適應性。

基于關(guān)鍵技術(shù)的引入與創(chuàng )新，奧比中光成功地克服了多模態(tài)機械臂在多個(gè)交叉領(lǐng)域的難題，打通工程化應用落地的“最后一公里”。

在機器人視覺(jué)領(lǐng)域，奧比中光擁有超過(guò)8年的行業(yè)落地經(jīng)驗，服務(wù)超過(guò)100家機器人產(chǎn)業(yè)企業(yè)。通過(guò)多年合作，奧比中光在機器人3D傳感器、激光雷達、模型算法等方面積累了豐富的經(jīng)驗，助力機器人客戶(hù)快速實(shí)現創(chuàng )新應用開(kāi)發(fā)與量產(chǎn)制造。

融合多種大模型能力的機械臂，可以應用在哪些場(chǎng)景？

隨著(zhù)機器人的“眼睛”（視覺(jué)傳感器）、“大腦”（大模型）、“身體”（本體）不斷發(fā)展進(jìn)化，智能機器人及機械臂有望在工業(yè)制造、柔性物流、商用服務(wù)等場(chǎng)景中率先落地。

例如，在自動(dòng)化工廠(chǎng)場(chǎng)景，基于多模態(tài)大模型的機器臂可以結合無(wú)人小車(chē)，進(jìn)行智能分揀、搬運；在家用服務(wù)機器人場(chǎng)景，人們可以通過(guò)簡(jiǎn)單的自然語(yǔ)言指令，讓機器人幫忙倒水、取快遞。

當前，面向機器人產(chǎn)業(yè)，奧比中光可提供單目結構光、雙目結構光、iToF、激光雷達、dToF等全技術(shù)路線(xiàn)3D視覺(jué)傳感器，并提供多傳感器融合支持。同時(shí)，針對AI大模型、具身智能機器人等科技發(fā)展趨勢，奧比中光正在致力于搭建機器人及AI視覺(jué)中臺，通過(guò)多模態(tài)視覺(jué)大模型及智能算法的研發(fā)，結合機器人視覺(jué)傳感器，將形成自主移動(dòng)定位導航和避障的完整產(chǎn)品方案，為全產(chǎn)業(yè)下游客戶(hù)提供全方位能力平臺及系列化產(chǎn)品方案，迎接智能機器人時(shí)代。