儘管生成式人工智能的表現令人印象深刻，但它並不具備對世界的連貫理解
研究人員顯示，即使是表現最好的大型語言模型也並未形成對世界及其規則的真實模型，因此在類似任務上可能會意外失敗。
根據麻省理工學院（MIT）的一項新研究，生成式人工智能模型具備令人驚訝的能力，比如在紐約市提供準確的逐步駕駛指引，儘管它未能形成該城市的準確內部地圖。研究人員發現，當他們封閉一些街道並增加繞行時，模型的表現急劇下降。
深入調查後，研究人員發現，模型所隱式生成的紐約地圖中有許多不存在的街道交錯於網格之間，並且連接著遙遠的交叉口。這對於在現實世界中部署的生成式人工智能模型可能具有嚴重的影響，因為在某一情境下表現良好的模型，若任務或環境稍有變化，可能會崩潰。
新指標的開發
研究團隊專注於一種被稱為變壓器的生成式人工智能模型，這是大型語言模型（如GPT-4）的基礎。變壓器在大量基於語言的數據上進行訓練，以預測一段文本中下一個詞的出現。然而，研究人員指出，僅僅測量其預測的準確性並不足以判斷一個大型語言模型是否形成了準確的世界模型。
例如，研究人員發現，變壓器幾乎每次都能正確預測「四子棋」遊戲中的有效行動，但並不理解其規則。因此，團隊開發了兩個新的指標來測試變壓器的世界模型。
第一個指標稱為「序列區分」，如果模型能夠識別出兩個不同的狀態（例如兩個不同的四子棋棋盤）並認識到它們的不同，就表示該模型形成了連貫的世界模型。第二個指標稱為「序列壓縮」，它表示一個具有連貫世界模型的變壓器應該知道兩個相同的狀態（如兩個相同的四子棋棋盤）具有相同的可能下一步序列。
研究團隊使用這些指標測試了兩類常見的變壓器，其中一個是基於隨機生成的序列數據訓練的，另一個則是基於遵循策略生成的數據。
不連貫的世界模型
出乎意料的是，研究人員發現，隨機做出選擇的變壓器形成了更準確的世界模型，這或許是因為它們在訓練期間接觸到了更廣泛的潛在下一步。儘管變壓器在幾乎每個情況下生成了準確的導航指示和有效的四子棋行動，但兩個指標顯示，只有一個變壓器生成了連貫的世界模型，而在導航示例中，沒有一個變壓器能夠形成連貫的世界模型。
當研究人員向紐約地圖中添加繞行時，所有導航模型都失敗了。研究人員驚訝地發現，當他們關閉僅1%的街道時，準確率立即從近乎100%降至67%。他們恢復模型生成的城市地圖，發現它們看起來像是想像中的紐約市，擁有數百條交錯的街道，並且經常包含隨機的高架道路或多條不可能的街道方向。
這些結果表明，變壓器在某些任務中表現出驚人的能力，但並不理解規則。研究人員認為，如果科學家希望構建能夠捕捉準確世界模型的大型語言模型，就需要採取不同的方法。
未來的研究方向
研究團隊希望未來能夠解決更廣泛的問題，例如某些規則僅部分已知的情況。他們還希望將其評估指標應用於現實世界的科學問題。這項研究部分由哈佛數據科學倡議、國家科學基金會研究生獎學金、Vannevar Bush教職獎學金、Simons合作獎助金以及麥克阿瑟基金會的獎助金資助。
這項研究引發了對於生成式人工智能模型的更深入思考。我們常常因為這些模型在語言處理方面的驚人表現而認為它們對世界有一定的理解，但事實上，它們的表現可能只是基於模式識別，而非真正的理解。這提醒我們在應用這些技術時必須謹慎，特別是在需要真實世界理解的情境中。
以上文章由特價GPT API KEY所翻譯及撰寫。而圖片則由FLUX根據內容自動生成。
