MIT出AI「元素週期表」！機械學習突破有望？

「機器學習的周期表」可能推動人工智能的發現

研究人員創建了一個統一框架，幫助科學家將現有的想法結合起來，以改善人工智能模型或創造新的模型。

麻省理工學院的研究人員創建了一個周期表，顯示超過20種傳統機器學習算法之間的聯繫。這一新框架闡明了科學家如何融合不同方法的策略，以改善現有的人工智能模型或創造新的模型。

例如，研究人員利用他們的框架結合了兩種不同算法的元素，創建出一個新的圖像分類算法，其表現比當前最先進的方法提高了8%。

這個周期表源於一個關鍵理念：所有這些算法學習數據點之間的一種特定關係。雖然每個算法可能以稍微不同的方式來實現這一點，但每種方法背後的核心數學是相同的。

在這些見解的基礎上，研究人員確定了一個統一方程，該方程是許多傳統人工智能算法的基礎。他們利用這個方程重新構思流行的方法，並將它們安排到一個表格中，根據它們學習的近似關係進行分類。

就像化學元素的周期表最初包含空白方格，後來由科學家填補一樣，機器學習的周期表也有空白空間。這些空間預測了應該存在但尚未被發現的算法。

麻省理工學院的研究生、這項新框架論文的主要作者Shaden Alshammari表示：“這不僅僅是一個隱喻。我們開始將機器學習視為一個系統，這是一個我們可以探索的結構空間，而不僅僅是通過猜測來進行。”

她的論文合作者包括Google AI Perception的研究人員John Hershey、麻省理工學院的研究生Axel Feldmann、電機工程與計算機科學的Thomas和Gerd Perkins教授William Freeman，以及資深作者、麻省理工學院研究生兼微軟高級工程經理Mark Hamilton。這項研究將在國際學習表示會議上展示。

意外的方程

研究人員並不打算創建一個機器學習的周期表。

在加入Freeman實驗室後，Alshammari開始研究聚類，這是一種通過學習將相似圖像組織到附近聚類中來分類圖像的機器學習技術。

她意識到她正在研究的聚類算法與另一種名為對比學習的傳統機器學習算法相似，並開始深入探討數學。Alshammari發現這兩種不同的算法可以使用相同的基礎方程來重新構思。

Hamilton說：“我們幾乎是偶然地得到了這個統一方程。一旦Shaden發現它連接了兩種方法，我們就開始設想將新的方法納入這個框架。幾乎我們嘗試的每一種方法都可以添加進來。”

他們創建的框架信息對比學習（I-Con）顯示了各種算法如何通過這個統一方程的視角來看待。它包括從檢測垃圾郵件的分類算法到驅動大型語言模型的深度學習算法。

這個方程描述了這些算法如何找到真實數據點之間的連接，然後在內部近似這些連接。

每個算法的目標是最小化它學習的近似連接與其訓練數據中的真實連接之間的偏差。

他們決定將I-Con組織成一個周期表，根據真實數據集中點之間的連接方式及算法近似這些連接的主要方式對算法進行分類。

Alshammari表示：“這項工作是逐步進行的，但一旦我們確定了這個方程的一般結構，就更容易將更多方法添加到我們的框架中。”

發現的工具

在他們安排表格的過程中，研究人員開始看到算法可能存在但尚未被發明的空白。

研究人員通過借用對比學習的想法並將其應用於圖像聚類，填補了一個空白。這產生了一種新算法，能夠將未標記的圖像分類，表現比另一種最先進的方法提高了8%。

他們還利用I-Con展示了如何將一種為對比學習開發的數據去偏見技術用於提高聚類算法的準確性。

此外，靈活的周期表允許研究人員添加新的行和列，以表示額外類型的數據點連接。

最終，將I-Con作為指導可以幫助機器學習科學家跳出框架，鼓勵他們以不同的方式組合想法，Hamilton表示。

他補充道：“我們已經證明，僅僅一個根植於信息科學的優雅方程，就能為跨越100年機器學習研究的豐富算法提供基礎。這為發現開啟了許多新途徑。”

耶路撒冷希伯來大學計算機科學與工程學院教授Yair Weiss表示：“在當今的機器學習研究中，最具挑戰性的方面之一是每年出現的似乎無限制的論文數量。在這個背景下，統一和連接現有算法的論文非常重要，但它們極為稀少。I-Con為這種統一方法提供了出色的例子，並希望能激勵其他人將類似的方法應用於機器學習的其他領域。”

這項研究部分由空軍人工智能加速器、國家科學基金會人工智能與基本互動研究所及廣達電腦資助。

—

這篇文章展示了機器學習領域的一個重要進展，通過將不同算法統一到一個框架中，研究人員不僅能夠提升現有技術的表現，還能為未來的算法創新鋪平道路。這種方法的關鍵在於它鼓勵研究人員探索尚未被充分開發的領域，這對於快速發展的人工智能技術來說尤為重要。隨著技術的進步，這種跨學科的合作和創新思維將成為推動人工智能發展的核心動力。

以上文章由特價GPT API KEY所翻譯及撰寫。而圖片則由FLUX根據內容自動生成。