AMD 宣布推出 OLMo，首個完全開放的大型語言模型
AMD 在人工智能領域再度邁出重要一步，宣布推出一系列名為 AMD OLMo 的大型語言模型（LLMs）。與其他大型語言模型如 OpenAI 的 GPT-4o 相似，AMD 自家訓練的 LLM 具備推理和聊天功能。這個開源語言模型已可下載，並可以在配備神經處理單元（NPUs）的 Instinct MI250 GPU 和 Ryzen AI PC 上運行。此外，AMD 還為參加其 AMD Developer Cloud 的 AI 開發者提供基礎設施支持。
通過 AMD OLMo，AMD 明顯鎖定數據中心和小型機構。運行 AMD Instinct GPU 的數據中心非常適合運行 OLMo，而沒有這類硬件的企業也不會被排除在外：憑藉 Ryzen AI 和 NPUs，他們可以在 PC 上使用 OLMo。允許機構和研究人員在訓練和微調過程中添加自己的信息，可能會幫助他們開發更符合自身需求的 LLM。
這家晶片製造商使用一組 Instinct GPU 預訓練了這個具備 10 億參數的 LLM 系列。該集群擁有 1.3 兆字元，分佈在 16 個節點上，每個節點配備四個 Instinct MI250 GPU。
OLMo 的訓練過程
AMD 將 OLMo 的訓練分為三個階段：預訓練、SFT 第一和第二階段，以及 DPO 對齊。在第一階段，OLMo 1B 在 Dolma v1.7 數據集的子集上進行訓練，收集知識和語言模式。第二階段，即 OLMo 1B 監督微調（SFT），則包含兩個訓練階段，旨在提高 LLM 的科學、編程和數學能力，以及其遵循指令的表現。在最後一階段，OLMo 1B SFT DPO，AMD 將 LLM 與人類偏好對齊，這是賦予 LLM 人類價值觀的關鍵步驟。
接下來，我們來看看 OLMo 1B SFT DPO 的表現。AMD 進行了多項基準測試，並將結果與其他開源 LLM 進行比較。OLMo 的整體表現良好，尤其在 AlpacaEval2 和 MT-Bench 等基準測試中表現突出。
在負責任的 AI 基準方面，AMD 的 OLMo 表現與其他開源 LLM，如 TinyLlama 和 MobileLlama 相當。負責任的 AI 基準測試衡量影響人類與 LLM 互動的質量。TruthfulQA-mc2 測試真實聲明的準確性，而 ToxiGen 測試有毒語言的普遍性（ToxiGen 測試中，較低的分數越好）。OLMo 看起來已經為開發者的使用和創新做好準備，AMD 也提供免費下載這個模型。
—
這項技術的推出不僅展示了 AMD 在 AI 領域的競爭力，也為開發者和小型企業提供了可負擔的解決方案。隨著 OLMo 的開放性，開發者能夠根據自己的需求進行調整，這將有助於推動 AI 應用的多樣性和創新。不過，作為一個開源模型，如何保持和管理其使用中的倫理問題也是值得關注的議題。特別是在當前 AI 技術迅速發展的背景下，如何確保模型的負責任使用，將是未來發展的一個重要挑戰。
以上文章由特價GPT API KEY所翻譯及撰寫。而圖片則由FLUX根據內容自動生成。
