蘋果研究團隊11月4日在預印本平台arXiv發表論文，介紹人形機器人自主控制系統HALO。研究以模擬住宅產生訓練資料，讓機器人依據鏡頭畫面及語言指令規劃動作，再直接到未預先掃描或建圖的真實環境測試。六個場地共360次單項任務的平均成功率為91%；需要連續完成多個動作的組合任務，平均成功率則為70%。
論文題為《Perceptive Humanoid Motion from Simulation》，聚焦機器人如何把視覺、文字要求與關節控制連接起來。作者指出，大量成對的影像、自然語言及低層動作資料仍然不足，靠人工遙控或穿戴設備採集，通常須付出相若甚至更多人力時間，難以快速擴充。
團隊因此建立合成資料流程，在1,000個程式生成的住宅中安排動作、鏡頭及指令，讓訓練資料隨計算資源增加。整套流程先生成動作，再放進不同室內場景，檢查是否碰撞，最後以接近真實硬件的鏡頭視角渲染畫面。
資料生成也加入光暗、色溫、對比、動態模糊及感測雜訊等變化，使模型接觸不同視覺條件。團隊以模仿學習訓練動作生成器，並透過強化學習訓練底層追蹤器，分別處理動作規劃與實際執行問題。
HALO由三層模組協作。高層編排器使用視覺語言模型，把使用者的要求拆成可執行小任務，監察是否完成，再決定前進或重試。中層根據當前畫面及小任務，產生全身動作軌跡；底層則讀取深度影像、關節和姿態資料，持續輸出馬達目標。
系統不必一次固定全部路徑。項目介紹顯示，編排器約每兩秒判斷下一步，動作生成器約每秒更新三次，底層追蹤器以50赫茲運作。動作生成器預測未來約五秒的軌跡，先執行其中一小段，再依據新畫面重新規劃。
宇樹機器人實測
實體測試使用宇樹G1人形機器人，加裝攝像頭支架，以及放置Mac mini M4 Pro的背部裝置。較高層的視覺及動作規劃由背部電腦處理，底層控制則在機器人原有的Jetson Orin NX上執行，整個系統不依靠外接纜線操控。
單項測試包括走向指定物件、坐上椅子、側身通過半開門、蹲身或爬行穿越低矮障礙，以及推箱子。每項在六個真實環境各測10次，合計360次；另在100個模擬環境測試，共進行6,000次，模擬與實體單項平均成功率均為91%。
組合任務則要求機器人把不同技能接起來。團隊在一個真實場地測試三種組合，每種進行10次，整體平均成功率70%；其中「蹲身通過障礙、走向目標、推箱子」最複雜，10次僅成功五次。
研究分析，連續任務失敗不只因某個動作本身做不好，也與上一段動作結束時的位置和朝向有關。部分測試中，機器人蹲身後頭部轉離箱子，未再把目標帶回視野；另有測試原本要求坐椅子，最後卻朝旁邊沙發移動。（編輯部）
贵公网安备52011302005168号