11月9日,輝達在奧斯汀機器人學習大會CoRL上釋出GR00T 2。官方測試顯示,雙手機器人在50項未提供目標機器人示範的任務中,僅靠預訓練平均成功率達到40%;每項任務補充五次示範並微調後,成功率提升至95%。這些任務此前出現在人類影片或其他機器人資料中,如今開始能遷移到新的機器人身體上。

GR00T 2延續了今年2月DreamZero探索的世界動作模型(WAM)路線:讓模型同時預測未來畫面和機器人動作,把“世界接下來會怎樣變化”納入動作學習。此次釋出進一步將人類影片、手持採集裝置和多種機器人資料放進同一套訓練流程,並通過少量示範和強化學習提高操作精度與可靠性。在系統分工上,上層推理智慧體負責任務拆解、進度檢查和異常處理,通過介面呼叫GR00T 2;後者負責需要持續視覺反饋和精細控制的物理操作。

WAM路線的討論因此有了更多現實參照。DreamZero第一作者Seonghyeon Ye當初看重的是影片模型能否賦予機器人未專門示範過的動作能力。八個多月後,沿此路線發展的模型開始處理更復雜任務,研究者也必須進一步決定:預測未來的哪些部分最有用、哪些計算可以省掉、哪些經驗仍需從真實操作中補回來。這些問題也出現在本屆CoRL議程上:11月12日的“機器人需要世界模型嗎?”工作坊將討論顯式預測與端到端策略的邊界;另一場由Ye參與組織的Scaling H2R則追問人類資料如何擴大才有效。

Ye同時是DreamZero的第一作者和專案負責人之一,也是近期DreamFree的共同作者。DreamFree的思路是將未來知識蒸餾到模型表徵中,在執行時省去未來影片生成步驟。他相信世界建模的重要性,也在研究這種能力能否以另一種形式保留。接受採訪時,Ye先說明DreamZero是其在輝達的實習專案,實習結束後他已離開,沒有參與GR00T 2,也不瞭解公司高層規劃。他認可此次釋出的進展,尤其關心如何在精細操作中保住泛化能力,但對WAM如何繼續發展,他認為尚無確定答案。

Ye解釋轉向世界模型的動機時舉了黑猩猩的例子:它們不懂人類語言,卻能操作物體並預判變化。這讓他懷疑,以視覺語言模型為起點再教模型輸出動作,是否就是機器人操作最合適的學習方式。許多視覺語言動作模型(VLA)從視覺語言模型繼承識別物體、理解指令和語義關係的能力,有助於機器人知道操作哪個物件,但一種此前沒練過的動作,還需要關於運動和物體變化的經驗。Ye希望模型在學習控制時就把這些變化一併學進去。

這一想法早於DreamZero。他參與的LAPA從影片前後幀變化中學習“潛在動作”,再用帶動作標籤的機器人資料接到實際控制上。對Ye來說,其重要性在於模型可以藉助預測世界變化的目標,從沒有機器人動作標註的影片中學習。影片生成模型提供了更直接的起點:這類模型在大規模影片中學習物體和場景如何變化,已積累可遷移經驗。2025年的DreamGen將影片模型適配到機器人領域,生成新行為與場景,再從影片中提取動作資訊擴充策略訓練資料。Ye回憶,團隊在這一階段看到影片模型的泛化能力,於是提出下一步:既然它能生成機器人執行新任務的過程,能否直接把它變成策略?

2月17日釋出的DreamZero沿著這個問題向前走了一步。團隊以140億引數的影片模型為基礎,讓影片生成與動作學習進入同一個模型,訓練時既要預測場景變化,也要預測對應的控制動作。未來預測本身參與了策略的學習與執行。Ye表示,如果有機會重做DreamZero,他仍會作同樣選擇,因為那是到達目標最快的路徑。

這項研究面對的一個實際問題是機器人資料如何採集。在有限採集時間裡,同一任務重複多次,還是讓機器人儘量接觸不同物品、環境和操作,會得到很不一樣的資料。前者更容易把某個動作練準,後者才有機會覆蓋訓練任務以外的變化。Ye說,DreamZero團隊在微調時花了很多心思增加多樣性,希望保住影片基座已有能力,讓模型接觸更多變化。在他看來,追求新任務能力需要從採集階段就作出選擇,不能等模型訓練完再要求它自行補出缺少的經驗。

DreamZero在AgiBot上的一組測試說明了團隊希望得到的收益。在包括解鞋帶、握手等動作的十項未見任務中,其平均任務進度為39.5%,對照的預訓練VLA為16.3%。論文還記錄到,一些VLA面對不同指令仍傾向於伸向物體、嘗試抓取,沿用訓練中常見動作。這裡比較的是任務完成到哪一步,並非完整任務成功率。這組結果也保留了DreamZero當時的位置:它展示出對新動作更好的嘗試能力,同時仍有大量未完成任務。

當被問及如果模型預測杯子能被拿起來、配套動作卻沒做到,問題該歸到未來預測、動作生成還是兩者連線時,Ye的觀察有些出乎提問預設。團隊做了大量rollout,發現影片與動作之間的對齊相當好,聯合學習這種對應關係也沒有想象中困難。但影片預測失敗時,動作往往也失敗;幾乎沒有看到動作成功、影片預測卻失敗的情況。Ye據此判斷,DreamZero的主要瓶頸在未來預測,改進能預測物理變化的基座模型應能進一步改善策略。

今年3月20日,Ye曾在RoboPapers節目中介紹DreamZero。此次採訪中,他坦言已不完全記得當時回答的上下文,但有一點仍明確:他仍然認為世界建模很重要,不過它不一定就是原始的畫素生成。DreamZero借用了現成影片模型的預訓練能力,也接下了影片生成的工作量,要處理未來畫面中的物體、位置、運動和大量視覺細節。對於影片產品,畫面真實、自然、好看都是目標;對於控制機器人,最需要的是正確理解物理變化。兩者有重合,卻未必需要同樣的訓練目標和計算分配。

讓影片生成跟上機器人動作本身就是繁重工作。DreamZero論文記錄,團隊通過系統、實現和模型層面的最佳化,將GB200配置下的推理延遲從約5.7秒降到約150毫秒,才使這個大模型能以約7 Hz進行閉環控制。Ye認為,做操作並不需要那麼好看、逼真的影片,真正需要的是正確理解世界,比如物理這類東西。長期看,最優基座可能應專門面向機器人操作,而不只是從追求畫面效果的影片生成模型出發再微調到機器人上。這不等於否定此前選擇:現成影片模型讓團隊很快獲得可用的先驗,DreamZero又證明這種先驗能轉化為動作能力。現在更值得研究的是,這些知識以什麼形式留在模型裡才能最有效服務於控制。

3月公開的Fast-WAM已把問題拆開做過一次實驗。它在訓練中保留影片與動作的聯合學習,推理時跳過未來影片生成;研究者發現,省去推理時的影片生成後模型仍有競爭力,而去掉訓練階段的影片學習,效能下降更明顯。這使得一種可能性值得認真對待:未來預測的重要收益,可能在訓練中就已進入模型表徵。Ye參與的DreamFree進一步沿著表徵去做。訓練時,一個凍結的影片教師模型能看到當前和未來畫面;另一個編碼器學習僅憑當前觀測也提取出接近教師、包含未來資訊的表徵。隨後,動作模組再從這些表徵中學習控制。這種訓練利用了未來,但部署時不再要求模型逐幀生成未來。DreamFree在專案報告配置下,用單張H200執行140億引數影片基座,達到約11 Hz的推理速度。

Ye用“表徵對齊”概括DreamZero與DreamFree之間的聯絡。DreamZero對下一狀態做顯式監督,讓模型學習世界接下來應該是什麼樣;DreamFree則通過蒸餾把相關知識壓進模型內部。兩項工作採用不同方式,要求用於操作的內部資訊與未來變化建立聯絡。Ye表示,大家會爭論測試時模型該不該生成未來狀態,但更重要的是,在訓練階段的某處,表徵必須被對齊到能夠建模未來。按照這個判斷,評估新架構時,是否輸出影片已不足以說明能力:一個直接輸出動作的模型也可能在訓練中學到了未來;一個能生成完整影片的模型則仍要證明這些計算確實幫助了操作。

最新的GR00T 2給出了另一種取捨。為降低計算量,Turbo版本將預測的影片空間網格縮小到原來的四分之一,但在一組後訓練的靈巧操作任務中,成功率從完整版本的68.6%降到34.3%。技術報告沒有把損失簡單歸因於某一因素,卻提出一個值得繼續研究的判斷:需要保留多少視覺細節,可能取決於任務與機器人本體。哪些未來資訊可以壓縮,不能只由推理速度決定。這也讓WAM與VLA的邊界變得不那麼整齊。DreamFree的專案頁用“WAM式訓練,VLA式推理”描述自己的方法。訓練目標、內部表徵和部署形態可以有不同的組合,模型名稱本身無法替代這些區別。

另一個正在迅速擴大的答案是人類資料。當被問及DreamZero還有什麼明顯值得繼續做時,Ye很快提到UMI和人體資料。UMI是一種通用操作介面,採集者手持夾爪完成任務並記錄操作,供機器人學習;人體資料則允許研究者更廣泛地記錄人如何在真實環境裡工作,減少採集對機器人本身的依賴。他回憶,DreamZero當時主要圍繞遙操作採集的機器人資料訓練,論文也做過加入少量人體影片的遷移驗證,但把其他資料來源大規模納入訓練,仍是值得繼續推進的方向。在他看來,GR00T 2已沿著這個方向向前走了。

從公開資料看,這一步的規模變化相當明顯。GR00T 2的預訓練混合了約40.3萬小時第一人稱人體影片、約1萬小時手持UMI示範,以及2.35萬小時機器人遙操作資料,人類影片已佔據最大部分。輝達報告,在72項下游任務測試中,逐步增加人體影片,真實機器人的任務進度從50%提高到70%。8月釋出的Dyna-2把人體影片預訓練規模從1,000小時逐級擴大到100萬小時,再用一致的後訓練方案進行真機驗證;其報告中,14項任務的平均歸一化成績從20%提高到53%,測試既包括語言跟隨,也包括打結、鑰匙轉動和瓶蓋操作等任務。

資料配比也沒有停留在簡單混合。GR00T 2技術報告描述了三個訓練階段:先用人體和機器人影片學習互動過程,再聯合學習多視角影片與動作,最後提高機器人資料權重以進一步適應真實控制。人類經驗負責擴大覆蓋面,機器人示範幫助模型學會在具體身體上執行。但報告同時承認,不同資料來源之間還沒有明確的投入回報關係:再增加一小時人體、UMI或遙操作資料,分別能換來多少能力,仍然不清楚。

這些結果為繼續投入人體資料提供了依據。Ye也認可,擴大第一人稱人體資料能改善向機器人的遷移。但他對這種收益能覆蓋多深的操作能力仍有保留。他特意限定說,這只是個人看法。在他看來,當前這類資料帶來的收益主要體現在語言跟隨和高層視覺、語義理解上;真正到操作層面的運動,以及對新任務的泛化,仍有很多問題沒有解決。他的理由落在採集訊號上:許多第一人稱人體資料主要記錄視覺,再加上位姿估計,卻沒有直接記錄接觸或力。影片保留了操作過程中的可見變化,機器人真正接觸物體時所需的資訊,卻可能沒有被完整留下來。

GR00T 2也沒有完全解決這個問題。其DexUMI採集裝置已能記錄指尖的法向力和剪下力,但模型尚未把觸覺作為輸入;技術報告仍將如何引入力和觸覺、如何保住已有視覺能力,以及採用什麼控制頻率列為開放問題。採到一種訊號與讓模型有效使用它,是需要分別解決的兩件事。