教導機械人其極限，以安全地完成開放式任務
“PRoC3S”方法幫助大型語言模型（LLM）通過在模擬中測試每一步來創建可行的行動計劃。這一策略最終可能幫助家用機械人更好地完成模糊的家務請求。
如果有人建議你“了解自己的極限”，他們可能是在建議你像適度運動一樣行事。但對於機械人來說，這句話代表的是學習約束或特定任務在機械人環境中的限制，以安全和正確地完成家務。
例如，想像一下當你要求機械人清潔廚房時，它並不理解周圍的物理環境。那麼，機械人如何生成一個實用的多步計劃，確保房間一塵不染呢？大型語言模型（LLMs）可以幫助它們接近目標，但如果模型僅僅是基於文本訓練，那麼它可能會錯過機械人物理約束的關鍵細節，例如它能夠伸手到多遠，或者是否有需要避免的障礙物。如果僅依賴LLMs，你很可能會發現自己正在清理地板上的意大利面污漬。
為了指導機械人執行這些開放式任務，麻省理工學院（MIT）計算機科學與人工智能實驗室（CSAIL）的研究人員利用視覺模型來查看機械人周圍的情況並建模其約束。該團隊的策略涉及讓LLM草擬一個計劃，並在模擬器中檢查以確保其安全和現實。如果該行動序列不可行，語言模型將生成一個新計劃，直到找到一個機械人可以執行的計劃。
這種試錯法，研究人員稱之為“通過連續約束滿足的代碼為機器人規劃”（PRoC3S），測試長期計劃以確保它們滿足所有約束，並使機械人能夠執行如寫信、畫星星、以及將積木分類和放置在不同位置等多樣化的任務。未來，PRoC3S可能幫助機械人在像家庭這樣的動態環境中完成更複雜的家務，當它們被要求執行一個由多個步驟組成的總體任務（例如“給我做早餐”）時。
“LLMs和傳統的機器人系統如任務和運動規劃器無法單獨執行這些任務，但它們的協同作用使得開放式問題解決成為可能，”博士生Nishanth Kumar SM ’24說，他是關於PRoC3S新論文的共同作者。“我們正在即時創建一個機械人周圍的模擬，並嘗試許多可能的行動計劃。視覺模型幫助我們創建一個非常現實的數字世界，使機械人能夠推理每一步長期計劃的可行行動。”
該團隊的工作在上個月的德國慕尼黑舉行的機器人學習會議（CoRL）上展示。
教導機械人其極限以完成開放式家務
研究人員的方法使用了一個基於互聯網文本預訓練的LLM。在請求PRoC3S執行任務之前，團隊向其語言模型提供了一個與目標任務（如畫星星）相關的示例任務（如畫正方形）。示例任務包括活動的描述、一個長期計劃以及有關機械人環境的相關細節。
但這些計劃在實踐中表現如何呢？在模擬中，PRoC3S成功地畫出星星和字母的次數分別為80%。它還能將數字積木堆成金字塔和直線，並準確地放置物品，例如將水果放在盤子上。在這些數字演示中，CSAIL的方法比類似的“LLM3”和“代碼作為政策”等方法更一致地完成請求的任務。
CSAIL的工程師接下來將他們的方法帶入現實世界。他們在機械手臂上開發和執行計劃，教它將積木放成直線。PRoC3S還使機械人能夠將藍色和紅色積木放入匹配的碗中，並將所有物品移動到桌子的中央。
Kumar和共同作者Aidan Curtis SM ’23（也是CSAIL的博士生）表示，這些發現表明，LLM可以開發出人類可以信任的更安全的計劃。研究人員設想了一個家用機械人，可以接受更一般的請求（如“給我一些薯片”），並可靠地找出執行該請求所需的具體步驟。PRoC3S可以幫助機械人在相同的數字環境中測試計劃，以找到一個可行的行動方案——更重要的是，為你帶來一份美味的小吃。
對於未來的工作，研究人員希望通過更先進的物理模擬器來改善結果，並通過更可擴展的數據搜索技術擴展到更複雜的長期任務。此外，他們計劃將PRoC3S應用於移動機械人，例如四足機器人，以執行包括行走和掃描環境的任務。
“使用像ChatGPT這樣的基礎模型來控制機械人的行動可能會導致不安全或不正確的行為，因為它們可能出現幻覺，”AI研究所的研究員Eric Rosen說，他並未參與該研究。“PRoC3S通過利用基礎模型進行高級任務指導，同時運用明確推理世界的AI技術來確保可驗證的安全和正確行動，解決了這一問題。這種基於規劃和數據驅動的方法的結合可能是開發能夠理解和可靠地執行更廣泛任務的機械人的關鍵。”
Kumar和Curtis的共同作者還包括CSAIL的成員：MIT本科研究員Jing Cao和MIT電氣工程與計算機科學系教授Leslie Pack Kaelbling和Tomás Lozano-Pérez。他們的工作部分得到了國家科學基金會、空軍科學研究辦公室、海軍研究辦公室、陸軍研究辦公室、MIT智能探索計劃和AI研究所的支持。
—
這篇文章展示了機械人技術的一個重要進展，尤其是在執行家務和開放式任務方面的應用。PRoC3S方法不僅能夠提高機械人的任務執行能力，更能夠在理解其物理環境的基礎上進行合理的行動規劃。這對於未來家用機械人的發展來說，無疑是一個重要的里程碑。隨著技術的進步，未來我們或許能夠看到更智能的機械人，能夠更自主地完成各種複雜的任務，並在家庭生活中扮演更積極的角色。
以上文章由特價GPT API KEY所翻譯及撰寫。而圖片則由FLUX根據內容自動生成。
