MIT新AI觸感建模：睇相變3D觸感模型！

3D建模的觸感體驗

由麻省理工學院計算機科學與人工智能實驗室（CSAIL）研究人員開發的TactStyle系統，運用圖像提示來複製3D模型的視覺外觀和觸覺特性。

對於從好萊塢的計算機生成影像到產品設計等多個行業來說，3D建模工具通常使用文本或圖像提示來決定視覺外觀的不同方面，例如顏色和形狀。儘管這作為第一接觸點是合理的，但這些系統在現實感上仍然有限，因為它們忽視了人類體驗中的一個重要元素：觸感。

物體的獨特性在於其觸覺特性，例如粗糙感、顛簸感或材料如木材或石材的觸感。現有的建模方法通常需要高級的計算機輔助設計專業知識，並且很少支持觸覺反饋，而觸覺反饋對我們感知和互動物理世界至關重要。

考慮到這一點，麻省理工學院的CSAIL研究人員創造了一種新系統，使用圖像提示來風格化3D模型，從而有效地復制視覺外觀和觸覺特性。

CSAIL團隊的“TactStyle”工具允許創作者根據圖像風格化3D模型，同時納入期望的觸覺特性。TactStyle將視覺和幾何風格化分開，使得從單一圖像輸入中復制視覺和觸覺特性成為可能。

該項目的首席作者、博士生Faraz Faruqi表示，TactStyle可能具有廣泛的應用範圍，從家居裝飾和個人配飾到觸覺學習工具。TactStyle使用戶能夠下載基本設計，例如來自Thingiverse的耳機支架，並根據他們的需求自定義樣式和質地。在教育中，學習者可以在不離開課堂的情況下探索來自世界各地的各種質地，而在產品設計方面，快速原型製作變得更容易，設計師可以迅速打印多個迭代以完善觸覺特性。

Faruqi表示：“您可以想像使用這種系統來設計常見物品，例如手機支架和耳機盒，以實現更複雜的質地，並以多種方式增強觸覺反饋。”他與麻省理工學院人機互動（HCI）工程組的副教授Stefanie Mueller共同撰寫了這篇論文。“您可以創建觸覺教育工具，以演示生物學、幾何學和地形等領域中不同概念。”

傳統的質地複製方法涉及使用專門的觸覺傳感器（例如在麻省理工學院開發的GelSight），這些傳感器需要實際接觸物體以捕捉其表面微幾何作為“高度場”。但這需要有實際物體或其記錄表面來進行複製。TactStyle允許用戶通過利用生成式AI直接從質地的圖像生成高度場來複製表面微幾何。

此外，對於像3D打印存儲庫Thingiverse這樣的平台，客製化單個設計是困難的。事實上，如果用戶缺乏足夠的技術背景，手動更改設計可能會導致其“損壞”，從而無法再打印。所有這些因素促使Faruqi思考構建一種工具，使可下載模型的高級自定義成為可能，同時保持其功能性。

在實驗中，TactStyle在生成質地的視覺圖像和其高度場之間顯示出顯著的改善，這使得能夠直接從圖像復制觸覺特性。一項心理物理實驗顯示，用戶認為TactStyle生成的質地類似於來自視覺輸入的預期觸覺特性和原始質地的觸覺特徵，從而實現了觸覺和視覺的統一體驗。

TactStyle利用一種預先存在的方法，稱為“Style2Fab”，來修改模型的顏色通道，以匹配輸入圖像的視覺風格。用戶首先提供所需質地的圖像，然後使用微調的變分自編碼器將輸入圖像轉換為相應的高度場。該高度場隨後應用於修改模型的幾何形狀，以創造觸覺特性。

顏色和幾何風格化模塊協同工作，從單一圖像輸入風格化3D模型的視覺和觸覺特性。Faruqi表示，核心創新在於幾何風格化模塊，它利用微調的擴散模型從質地圖像生成高度場，而這是以前的風格化框架無法準確復制的。

展望未來，Faruqi表示團隊旨在擴展TactStyle，以使用生成式AI生成嵌入質地的新型3D模型。這需要探索複製正在製造的3D模型的形狀和功能所需的管道。他們還計劃研究“視覺-觸覺不匹配”，以創造出具有新穎材料體驗的產品，例如看似由大理石製成但觸感卻像是木材的物體。

Faruqi和Mueller與博士生Maxine Perroni-Scharf、Yunyi Zhu，來自新西蘭人機界面技術（HIT）實驗室的助理教授Donald Degraen，以及訪問本科生Jaskaran Singh Walia和訪問碩士生Shuyue Feng共同撰寫了這篇新論文。

這項研究不僅展示了科技的前沿，還揭示了人類與機器互動的新可能性。TactStyle的出現，無疑為3D建模領域帶來了革命性的突破，能夠更好地融合我們的視覺和觸覺體驗。這不僅是設計工具的進步，更是將藝術與科技結合的典範，未來的應用潛力無限，值得我們持續關注和探索。

以上文章由特價GPT API KEY所翻譯及撰寫。而圖片則由FLUX根據內容自動生成。