蘋果研究團隊在預印本平台arXiv提交論文《Perceptive Humanoid Motion from Simulation》，公開了一款名為HALO的人形機器人自主控制系統，並將該系統部署在宇樹科技G1機器人上，驗證其能否把模擬環境中學到的動作遷移到陌生的現實房間中執行。
根據論文披露的測試結果，研究團隊在6個未預先掃描或建圖的真實環境中開展了360次單項任務測試，平均成功率為91%；在另一個真實環境中，對3種組合任務各進行10次測試，平均成功率為70%。其中，“俯身通過障礙—走向目標—推箱子”這一組合的成功率為50%。
HALO採用三層協同控制架構。最上層是基於視覺語言模型的任務編排模組，預設使用千問Qwen3.6-35B-A3B，在機器人搭載的Mac mini上本地執行，與動作生成器共用模型服務引擎，無需聯網即可工作；系統也可選擇通過API呼叫雲端模型，以獲得更強的推理和規劃能力。這一層負責處理指令中的模糊資訊，例如“坐下”沒有指定具體位置，機器人需要從眼前場景中判斷坐在哪裡；如果路徑被桌子擋住，則需將任務拆解為俯身通過、接近椅子、坐下等連續子任務。該模組通過機器人視角的影片持續觀察環境，判斷當前動作是否成功，並據此推進或重試，每次向動作生成器下達一個明確的子任務。
中間的動作生成層採用另一款千問模型Qwen3.5-2B，研究團隊將其作為引數凍結的編碼器，與負責生成動作的DiT解碼器配合，根據機器人看到的畫面和當前子任務，規劃未來約5秒的全身動作。這一層每秒重新規劃約3次，使動作計劃能夠隨環境變化持續更新。底層則是經強化學習、策略蒸餾等步驟訓練的動作跟蹤器，以每秒50次的頻率執行，結合深度影像和機器人自身狀態，將動作計劃轉化為關節控制指令。
在資料生成方面，研究團隊在1000個程式生成的模擬家庭環境中合成了約300小時的主要訓練資料，將機器人“看到什麼”“接到什麼指令”和“如何運動”配對起來。具體流程是先生成動作，再將動作放入虛擬房間，最後從機器人視角渲染畫面。專案頁面以“坐到扶手椅上”為例，將其拆成向前走、轉身和坐下等片段，由動作生成模型根據文字提示、路徑點和關鍵姿態生成動作序列，再通過幾何檢查篩選動作，減少腳部滑動、身體穿入地面等問題。隨後系統將動作安排到程式生成的房間中，檢查機器人與傢俱的位置關係，尋找沒有碰撞的擺放方案，並利用模擬工具渲染機器人執行動作時看到的畫面。訓練中還會改變光照、色調、畫面模糊程度等條件，使視覺輸入更加多樣。
算力方面，研究團隊使用250張輝達H100 GPU，耗時約48小時合成主要訓練資料；動作生成器通過模仿學習訓練，使用64張B200；動作跟蹤器經強化學習、策略蒸餾等步驟訓練，使用4張H100。
研究團隊同時指出，模擬生成資料並未完全擺脫人工參與，新增物理任務仍需人工編寫提示詞、設計動作關鍵幀，部分動作還使用了人類影片或動捕素材。此外，當前機器人主要依賴視覺感知，難以直接感知接觸情況；當物體離開相機視野或被遮擋時，涉及較多接觸的任務表現會下降。加入觸覺感知，是後續改進方向之一。
從行業視角看，這項研究的意義在於將大模型驅動的任務編排、動作生成與底層關節控制整合進一套可復現的流程，並選擇在宇樹G1這一第三方硬體平台上驗證，而非蘋果自有機器人產品。研究團隊公開了資料生成、模型訓練和部署程式碼，涵蓋動作生成、動作跟蹤、任務編排以及模擬和真實機器人執行等環節，這為外部研究者復現和比較不同技術路線提供了條件。同時，預設採用千問模型並在本地Mac mini上執行，也反映出機器人“大腦”對模型體積與推理效率的現實約束——在離線條件下完成感知、規劃與控制的閉環，是走向實用化必須跨過的一道門檻。