一台售價約150美元的SO-101機械臂,在GPT-6 Astra的控制下畫出了一幅金門大橋。這段影片在社交平台迅速走紅,Sam Altman本人轉發並留言想要一個。值得注意的是,這幅畫並非按預設軌跡描出來的:Astra先自行規劃從哪裡落筆,再借助攝像頭邊畫邊看,最終完成了一幅紅藍相間的金門大橋。
機器人圈過去幾年反覆追問一個問題:誰會成為機器人領域的OpenAI?Astra的這輪表現讓不少人給出了一個出人意料的答案——可能就是OpenAI自己。Amazon Alexa首席科學家、Retrocausal聯合創始人Zeeshan Zia就持這一判斷,認為答案不是Physical Intelligence或Skild這類專攻機器人基礎模型的公司。
支撐這一判斷的,是近期在X上流傳的多組實驗。CMU Robotics的Wenli Xiao先錄下一段人類完成新任務的影片,把錄影交給Codex,再讓Astra控制機械臂以同樣方式完成任務,結果一次就跑通。他把這種能力稱為「physical ICL」——過去大模型能從上下文裡的文字、程式碼示例中臨時學會新任務,如今這種能力被搬到了物理世界。
另一些人則讓Astra扮演「機器人工程師」。Lingxiao Guo把真實機器人演示的多視角畫面和動作資料交給Astra,讓它自行處理相機標定、場景重建和物理引數,再把真實環境搬進MuJoCo,最終得到的不是看起來相似的3D場景,而是一套可繼續做接觸模擬和動作回放的real2sim環境。還有人在MuJoCo中給Astra配上Kinova Gen3機械臂和Shadow Hand五指機械手,讓它握筆畫出畢加索那隻著名的鴿子,機械手需要同時處理握筆姿態、手指與鉛筆的摩擦以及筆尖與紙面的接觸。
更能說明問題的是RoboCurve的實機測試。他們把Astra接到兩隻真實的I2RT YAM機械臂上,每一步Astra都能看到頂部和兩隻手腕上的三個相機視角以及機械臂自身狀態,隨後直接給出兩隻機械臂末端執行器的x、y、z、yaw、pitch、roll和夾爪狀態,再由底層逆運動學轉換成具體關節動作。在「把桌上紅色積木抓起來放進旁邊碗裡」的任務中,Astra 20次成功19次,成功率95%;同一測試裡,Fable 5.1只成功了8次。一個並未專門為機器人訓練的通用模型能做到這種程度,出乎不少人意料。
這恰好撞上了過去幾年機器人行業最熱的一條路線——專門給機器人訓練一顆自己的「基礎模型大腦」。Physical Intelligence希望訓練一個真正跨任務、跨場景、跨機器人本體的通用機器人基礎模型,其π系列把視覺、語言和動作放進同一套模型;Skild的目標更直接——「Any task, any robot, one brain」,無論四足、人形還是桌面機械臂,都由同一個通用「大腦」理解任務、規劃動作。兩家公司代表的是同一種思路:語言有自己的foundation model,機器人也需要在海量機器人資料上訓練出真正理解身體和動作的基礎模型。
Astra走的是另一條路。它沒有先收集大量機器人軌跡再專門訓練一套從視覺到動作的基礎模型,而是把通用AI本身當作機器人的大腦。這一點放在OpenAI身上尤其微妙:2018年OpenAI曾推出Dactyl,讓Shadow靈巧手在真實世界旋轉物體,隨後又讓靈巧手完成魔方操作,研究的問題正是今天行業仍繞不開的模擬訓練遷移、摩擦與遮擋處理、感測器噪聲和多自由度控制。但幾年後OpenAI關閉了機器人團隊,Wojciech Zaremba當時提到一個現實限制:機器人缺少像網際網路文本那樣可大規模獲取的資料。如今OpenAI先把模型在語言、程式碼、視覺和Agent上一路做大,讓模型積累關於物體、空間、因果關係和人類行為的知識,再把這些知識變成身體動作,等於從另一條路繞了回來。Sam Altman近期已明確表示,OpenAI會做人形機器人,也會探索其他機器人形態,而在他看來真正關鍵的部分仍是讓機器人工作的「大腦」。
在控制方式上,Astra目前並不直接驅動每一台電機。以RoboCurve的實機測試為例,它負責判斷「手應該去哪裡」,傳統機器人控制棧負責解決「每個關節具體怎麼動」。輝達前研究科學家Yu Xiang提出,機器人學接下來一個值得關注的方向,可能就是如何把最先進的AI模型真正接進manipulation,而不是隻讓大模型停留在最上層拆解任務、呼叫工具。
但問題也隨之顯現。有人讓Astra直接輸出Unitree Go1的joint targets,嘗試像強化學習policy一樣以50Hz控制四足機器人行走,實驗確實跑了起來,但Astra的推理速度跟不上即時控制,物理模擬必須在每次模型呼叫之間暫停,最終250次推理只換來約5秒鐘的行走。顯然,Astra能決定機器人下一步該怎麼動,但要直接接管毫秒級的底層控制還不現實。更可行的形態可能是分層分工:Astra負責理解環境、推理和規劃,低層policy與控制器負責把意圖快速穩定地變成動作。
「最後一毫米」是更明顯的短板。同樣是RoboCurve的測試,把紅色積木放進碗裡成功率95%,可任務換成把圓形拼圖準確嵌進對應凹槽時,成功率立刻跌到10%,20次只完成2次。Astra已經能找到拼圖、抓住旋鈕並把它移到目標凹槽附近,卻很難完成最後的精確插入。位置和角度稍有偏差零件就無法對準,真正接觸又受硬體誤差干擾。Physical Intelligence近期也專門研究「最後一毫米」:讓通用機器人模型拿起螺絲刀很簡單,但要快速準確對準一顆很小的M3螺絲,仍需通過線上強化學習繼續最佳化,網線插入、電源線插入、紮帶固定等任務同樣卡在精細接觸階段。
由此看,Astra的優勢集中在理解環境、判斷目標和規劃動作這些「頭腦」擅長的部分,而一旦進入高頻反饋、精細接觸和力控制,機器人自身的身體經驗仍然重要。這也給「機器人領域的OpenAI」之爭留下懸念:機器人當然可以用最強模型當大腦,但能與之匹配的物理身體,還沒有出現。