輝達公佈了一款名為 GR00T 2 的 AI 基礎模型,目標是把機器人從費時費力的遙操作訓練中解放出來。傳統上,教機器人完成新任務需要工程師遠端操控機械臂反覆演示,這一過程成本高、速度慢,且每換一款機器人就要重新採集資料。GR00T 2 的思路是讓模型先“看”人類怎麼做,再在內部想象自己作為機器人執行同樣動作的畫面,從而生成控制指令。
與上一代 GR00T 1 不同,GR00T 2 不再直接根據攝像頭影像和語言指令輸出電機動作。輝達將其稱為 “世界-動作模型”(WAM):它在計算下一步動作的同時,還會通過擴散方法預測未來一小段影片,例如機械臂抓起物體時攝像頭畫面應如何變化。這種影片預測能力被認為有助於把同一套動作序列遷移到不同形態的機器人上。
訓練資料方面,輝達使用了超過 1000 塊 GB300 晶片的叢集,處理了約 40 萬小時的影片素材,內容是人們佩戴頭戴式攝像頭完成各類任務的第一視角錄影。當需要教機器人新任務時,研究人員表示,一個人戴上資料手套、專用手部夾爪或手指外骨骼演示步驟即可;這些記錄與目標機器人的通用運動資料結合後,AI 會在影片預測中把人的手臂替換為機械臂,並推匯出相應的控制命令。
在實驗室測試中,一台帶五指手的機器人以這種方式學會了點蠟燭、切香蕉、把包裹拋上傳送帶等任務,且沒有針對這些任務進行過遙操作訓練。不過,成功率因任務而異,從 10% 到 80% 不等。系統還能僅憑一段人手動作影片,在計算機模擬中學會釘釘子。對於模型在少量示例後已表現較好的 50 個選定任務,不到 3 分鐘的常規訓練就能把成功率從 40% 提升到 95%。
對於更長的裝配工作,輝達將 GR00T 2 與一個更高層的 AI 語言模型配合使用,例如 OpenAI 的 GPT-6 Astra。GR00T 2 負責抓取動作,語言模型則把任務拆解成步驟、在攝像頭影像中給抓取點標色,並在零件掉落時啟動輔助程式。在桌面上隨意擺放玩具模型零件的測試中,組合系統在至少 97% 的試驗中完成了組裝;而沒有糾正性語言模型和額外微調時,玩具車組裝在 100 次嘗試中僅成功 23 次。團隊還通過真機上的反覆試錯,訓練了插網線、插充電器等精細任務。
針對雙足機器人,輝達開發了精簡版 GR00T 2 Turbo,它處理的影像細節更少,可直接執行在人形機器人的 Jetson Thor 車載計算機上。測試中,機器能夠舀爆米花、清理桌面,並用腳下的毛巾擦拭液體,但擦液體這項任務的成功率略低於一半。
研究團隊也指出了系統投入可靠實際應用前的顯著障礙。模型尚不能處理直接的觸覺感測器資料,有時會漏掉半擰螺絲這類細微錯誤。高層語言模型還會明顯拖慢速度:在垃圾分類任務中,機器人約有 三分之一 的時間處於閒置,因為平均要等待超過 7 秒才能得到規劃模型的下一次計算。
從行業視角看,GR00T 2 代表了一條與遙操作並行的機器人資料路線——用海量人類影片降低任務示教成本。其價值在於泛化潛力,但當前成功率波動大、觸覺缺失和規劃延遲等問題,說明從實驗室演示到穩定商用仍有距離。其他實驗室也在探索減少遙操作的訓練方法,這一方向的競爭正在升溫。