機器人的大腦在手眼腦協(xié)同中發(fā)揮怎么樣的作用

人形機器人需要具備G泛化能力與思維鏈能力。與工業(yè)機器人不同,人形機器人需要與復(fù)雜世界進行互動,因此決策控制系統(tǒng)需 要G泛化性。在現(xiàn)實世界中,機器人難以一次性完成整個復(fù)雜動作,需要將復(fù)雜動作拆 解成多個簡單步驟完成。而由于現(xiàn)實世界遠(yuǎn)比機器人訓(xùn)練場景復(fù)雜,在任務(wù)過程中會受 到各種干擾,環(huán)境也會不斷變化,因此具身智能機器人需要較強的思維鏈能力。早期人形機器人大腦主要通過集成多個“小模型”結(jié)合人工介入實現(xiàn),但隨著GPT-40等大模 型的出現(xiàn),機器人對文本、視覺、語言等多模態(tài)信息的理解和轉(zhuǎn)化顯著提升,致使人形機器人大腦的泛化能力與思維能力亦有大幅增加。

目前機器人大腦按照技術(shù)方案劃分為VLM(大腦+小腦)、VLA(端到端)兩種技術(shù)路 徑。大小腦將復(fù)雜的任務(wù)分解為G層規(guī)劃與底層執(zhí)行兩個層J,分為兩個主要模塊:

1) G層任務(wù)規(guī)劃器(慢腦)負(fù)責(zé)語義理解、任務(wù)分解和長程推理,生成任務(wù)步驟。

2)底層 動作控制器(快腦)執(zhí)行具體的動作并實時進行控制,將G層指令轉(zhuǎn)為關(guān)節(jié)角度、軌跡 等低維度控制信號,具備G頻響應(yīng)等特點， 田于端到端指令生成速度慢， 生成結(jié)果簡單,短期仍然是依靠大腦+小腦系統(tǒng)分別完成決策與控制任務(wù)。

在“手眼腦”協(xié)同中,大腦的作用主要是針對當(dāng)前語義、文字的理解識別出任務(wù)目標(biāo), 并結(jié)合輸入的圖像信息,在環(huán)境中識別出操作對象,觀察特征。通過對視覺、文字的整合理解,大腦將做出合理的指令任務(wù)推導(dǎo),并生成小腦的執(zhí)行指令,之后再是由小腦執(zhí) 行手眼標(biāo)定、手臂+靈巧手的運動軌跡、位姿抓取等動作。因此人形機器人大腦本質(zhì)上 是一個干億J別參數(shù)量的多模態(tài)大模型,人形機器人感知和決策能力取決于多模態(tài)大模 型的能力。

目前人形機器人大腦仍然有優(yōu)化空間。對人形機器人大小腦通用化實現(xiàn)路徑,目前智元機器人針對具身智能技術(shù)演進路線,進行G1至G5的劃分,目前國內(nèi)外產(chǎn)業(yè)進展處于 G2-G3的水平。

G1:傳統(tǒng)自動化的起點,幾乎不具備泛化能力;

G2:通過提煉可復(fù)用原子技能,并以相對通用的方式來實現(xiàn),結(jié)合任務(wù)編排大模 型,可以具備對一大類相似場景的泛化;

G3:走向數(shù)據(jù)驅(qū)動端到端,進一步形成一套通用訓(xùn)練框架,學(xué)習(xí)新技能通過采集 相應(yīng)數(shù)據(jù)就能實現(xiàn)更通用跨類別的泛化能力。

G4:隨著數(shù)據(jù)量的進一步增加,G4將進一步演化為一個通用的操作大模型,結(jié)合 認(rèn)知推理規(guī)劃大模型,來實現(xiàn)端到端通用操作。

G5:為長期發(fā)展目標(biāo),Z終形成一個真正的感知、決策、執(zhí)行的端到端大模型。