新AI代理學識用CAD由草圖創建3D物件
虛擬VideoCAD工具有望提升設計師生產力，並幫助學習電腦輔助設計（CAD）的工程師訓練。
麻省理工學院（MIT）工程師致力於降低CAD的學習難度，開發出一款AI模型，能像人類一樣操作CAD軟件。只需輸入一幅2D草圖，該模型便能迅速透過鍵盤和滑鼠操作，點擊軟件內的按鈕及選項，創建出3D模型。
CAD是當今設計實體產品的主要工具，工程師利用它將2D草圖轉換成3D模型，然後進行測試和優化，最終批量生產。然而，CAD軟件功能繁多，命令數以千計，學習曲線非常陡峭，要熟練掌握需要大量時間和練習。
MIT團隊創建了名為VideoCAD的新數據集，收錄超過41,000個CAD軟件中3D模型構建過程的示範視頻。這些視頻逐步展示了不同形狀和物件的建造過程，讓AI學會模擬人類操作CAD軟件。
憑藉VideoCAD，團隊正在開發一款AI輔助的「CAD副駕駛」。理想中，這款工具不僅能自動根據設計草圖生成3D模型，還能與設計師協同工作，建議下一步操作，或自動完成那些繁複而耗時的步驟。
MIT機械工程系研究生Ghadi Nehme表示：「AI有機會提升工程師的生產力，同時令更多人更易接觸和使用CAD。」
機械工程副教授Faez Ahmed補充：「這意義重大，因為它降低了設計門檻，讓沒有多年CAD訓練的人也能更輕鬆地創造3D模型，發揮創意。」
Ahmed、Nehme及其團隊將於12月在神經信息處理系統會議（NeurIPS）發表這項研究。
逐點點擊：AI模擬人類操作CAD
團隊此次研究擴展了AI驅動的用戶界面（UI）代理技術——這類工具能操作軟件完成特定任務，例如自動搜尋網絡資訊並整理到Excel表格。Ahmed團隊探討是否能設計出更複雜的UI代理，來操控功能繁多且操作複雜的CAD軟件。
他們的目標是打造一款AI代理，能像人類一樣逐點點擊操作CAD，將2D草圖轉化成3D模型。研究首先利用現有由人類設計的CAD物件數據集，這些物件包含了高階設計指令，如「繪製線條」、「繪製圓形」和「拉伸」等。
但團隊發現，僅靠這些高階命令不足以訓練AI實際操作CAD。AI還需理解每個操作背後的細節，例如：應該選擇哪個草圖區域？何時放大視圖？哪部分草圖應拉伸？為此，他們開發出一套系統，將高階命令轉譯為具體的用戶界面互動操作。
Nehme舉例：「比如我們畫一條從點1到點2的線，我們會將這個高階動作轉換成用戶界面操作，告訴AI先移動滑鼠到第一個像素點並點擊，再移動到第二個像素點並點擊，同時選擇‘線條’這個功能。」
最終，他們生成了超過41,000段由人類設計的CAD物件操作視頻，並記錄了操作過程中實際的點擊、拖動及鍵盤操作。這些數據被用來訓練一個模型，使其學會用戶界面操作與CAD物件生成之間的關聯。
模型訓練完成後，AI能根據輸入的2D草圖，直接控制CAD軟件，透過點擊、拖動和工具選擇，構建完整的3D形狀。這些物件從簡單的支架到複雜的房屋設計都有涵蓋。團隊正進一步訓練模型處理更複雜的形狀，期望未來這套系統和數據集能支援各行各業設計師的CAD副駕駛應用。
Autodesk Research高級研究科學家Mehdi Ataei評價：「VideoCAD是朝向能幫助新用戶快速上手並自動化重複建模工作的AI助手的重要第一步。這只是基礎，我期待未來能涵蓋更多CAD系統、更豐富的操作如組裝和約束，以及更貼近真實且複雜的人類工作流程。」
—
編輯評論：
MIT這項突破性的研究，標誌著AI在工程設計領域又一重大進展。傳統上，CAD軟件因操作繁複，成為許多創意人才的瓶頸。VideoCAD不單是技術上的創新，更有潛力打破專業門檻，令更多人能憑藉簡單草圖快速產生3D模型，激發創造力和設計效率。
更妙的是，這種模擬真實用戶操作的AI代理，為未來智慧設計助理鋪路。它不只是被動執行指令，更可能主動提出設計建議，甚至自動化完成繁瑣流程，減輕工程師工作負擔。這種「人機協作」模式，將重新定義工程設計的工作方式。
當然，挑戰仍在於如何讓AI處理更複雜、多變且有時不規則的人類設計思路，及多系統、多軟件的跨平台操作。未來若能結合自然語言處理、生成式AI等技術，甚至讓設計師用語言直接指揮AI操作CAD，整個設計流程將更為順暢和人性化。
總括而言，VideoCAD不只是CAD領域的AI應用，更象徵著設計工具智能化的未來趨勢。它有望令設計更民主化，讓更多非專業用戶也能輕鬆實現3D創意，推動工程與創意產業的新一波革新。香港的設計與工程界，亦可密切關注此類技術發展，把握數碼轉型帶來的機遇。
以上文章由特價GPT API KEY所翻譯及撰寫。而圖片則由FLUX根據內容自動生成。
