AMD推出首個開放式大語言模型OLMo!

Ai

AMD 宣布推出 OLMo,首個完全開放的大型語言模型

AMD 在人工智能領域再度邁出重要一步,宣布推出一系列名為 AMD OLMo 的大型語言模型(LLMs)。與其他大型語言模型如 OpenAI 的 GPT-4o 相似,AMD 自家訓練的 LLM 具備推理和聊天功能。這個開源語言模型已可下載,並可以在配備神經處理單元(NPUs)的 Instinct MI250 GPU 和 Ryzen AI PC 上運行。此外,AMD 還為參加其 AMD Developer Cloud 的 AI 開發者提供基礎設施支持。

通過 AMD OLMo,AMD 明顯鎖定數據中心和小型機構。運行 AMD Instinct GPU 的數據中心非常適合運行 OLMo,而沒有這類硬件的企業也不會被排除在外:憑藉 Ryzen AI 和 NPUs,他們可以在 PC 上使用 OLMo。允許機構和研究人員在訓練和微調過程中添加自己的信息,可能會幫助他們開發更符合自身需求的 LLM。

這家晶片製造商使用一組 Instinct GPU 預訓練了這個具備 10 億參數的 LLM 系列。該集群擁有 1.3 兆字元,分佈在 16 個節點上,每個節點配備四個 Instinct MI250 GPU。

OLMo 的訓練過程

AMD 將 OLMo 的訓練分為三個階段:預訓練、SFT 第一和第二階段,以及 DPO 對齊。在第一階段,OLMo 1B 在 Dolma v1.7 數據集的子集上進行訓練,收集知識和語言模式。第二階段,即 OLMo 1B 監督微調(SFT),則包含兩個訓練階段,旨在提高 LLM 的科學、編程和數學能力,以及其遵循指令的表現。在最後一階段,OLMo 1B SFT DPO,AMD 將 LLM 與人類偏好對齊,這是賦予 LLM 人類價值觀的關鍵步驟。

接下來,我們來看看 OLMo 1B SFT DPO 的表現。AMD 進行了多項基準測試,並將結果與其他開源 LLM 進行比較。OLMo 的整體表現良好,尤其在 AlpacaEval2 和 MT-Bench 等基準測試中表現突出。

在負責任的 AI 基準方面,AMD 的 OLMo 表現與其他開源 LLM,如 TinyLlama 和 MobileLlama 相當。負責任的 AI 基準測試衡量影響人類與 LLM 互動的質量。TruthfulQA-mc2 測試真實聲明的準確性,而 ToxiGen 測試有毒語言的普遍性(ToxiGen 測試中,較低的分數越好)。OLMo 看起來已經為開發者的使用和創新做好準備,AMD 也提供免費下載這個模型。

這項技術的推出不僅展示了 AMD 在 AI 領域的競爭力,也為開發者和小型企業提供了可負擔的解決方案。隨著 OLMo 的開放性,開發者能夠根據自己的需求進行調整,這將有助於推動 AI 應用的多樣性和創新。不過,作為一個開源模型,如何保持和管理其使用中的倫理問題也是值得關注的議題。特別是在當前 AI 技術迅速發展的背景下,如何確保模型的負責任使用,將是未來發展的一個重要挑戰。

以上文章由特價GPT API KEY所翻譯及撰寫。而圖片則由FLUX根據內容自動生成。

發佈留言

發佈留言必須填寫的電子郵件地址不會公開。 必填欄位標示為 *