AMD推出首個具1億參數的開放源代碼大型語言模型OLMo
AMD最近推出了其首個系列的完全開放源代碼的十億參數大型語言模型（LLM），名為AMD OLMo，旨在應用於多種場景，並且在公司的Instinct MI250 GPU上進行了預訓練。這些LLM據稱具備強大的推理、遵循指令和對話能力。
AMD的開放源代碼LLM旨在提升其在人工智能行業的地位，並使其客戶（以及其他所有人）能夠在AMD硬件上部署這些開源模型。通過開放數據、權重、訓練配方和代碼，AMD希望賦能開發者，不僅能夠複製這些模型，還能在其基礎上進行進一步的創新。除了用於數據中心外，AMD還支持在配備神經處理單元（NPU）的AMD Ryzen AI PC上本地部署OLMo模型，讓開發者能夠在個人設備上利用AI模型。
多階段預訓練
AMD OLMo模型在一個包含1.3萬億標記的龐大數據集上進行訓練，使用了16個節點，每個節點配備四個AMD Instinct MI250 GPU（總共64個處理器）。AMD的OLMo模型系列經過三個階段的訓練。
首先，AMD OLMo 1B在Dolma v1.7的子集上進行了預訓練，這是一個僅解碼的變壓器，專注於下個標記的預測，以捕捉語言模式和一般知識。
其次，AMD OLMo 1B經過監督微調（SFT），在Tulu V2數據集（第一階段）上訓練，然後在OpenHermes-2.5、WebInstructSub和Code-Feedback數據集（第二階段）上進行進一步的微調，以提高其遵循指令的能力，並改善其在科學、編程和數學等任務上的表現。
最後，在微調後，AMD OLMo 1B SFT模型通過直接偏好優化（DPO）與UltraFeedback數據集進行了對齊，以優先考慮與典型人類反饋相一致的輸出，形成了最終的AMD OLMo 1B SFT DPO版本。
性能結果
在AMD的測試中，OLMo模型在標準基準測試中顯示出對比同等大小的開源模型（如TinyLlama-1.1B、MobiLlama-1B和OpenELM-1_1B）有著令人印象深刻的表現，尤其是在一般推理能力和多任務理解方面。
兩階段的SFT模型在準確性上有顯著的提升，MMLU分數增加了5.09%，GSM8k則提高了15.32%，這顯示了AMD的訓練方法的影響。最終的AMD OLMo 1B SFT DPO模型在基準測試中平均超過了其他開源對話模型至少2.60%。
在指令調整結果方面，AMD OLMo模型在對話基準測試中表現優越，特別是在將AMD OLMo 1B SFT和AMD OLMo 1B SFT DPO模型與其他經過指令調整的模型進行比較時，AMD的模型在AlpacaEval 2贏率上超過了下一個最佳競爭對手3.41%，在AlpacaEval 2 LC贏率上超過了2.29%。此外，在MT-Bench測試中，測量多輪對話能力，SFT DPO模型比其最近的競爭對手提高了0.97%的表現。
此外，AMD還測試了負責任的AI基準，比如ToxiGen（測量有毒語言，得分越低越好）、crows_pairs（評估偏見）和TruthfulQA-mc2（評估回應的真實性）。結果顯示，AMD OLMo模型在處理倫理和負責任的AI任務方面與類似模型相當。
評論
AMD此次推出的OLMo系列大型語言模型不僅展示了其在AI領域的技術實力，還標誌著其對開放源代碼的承諾。這種開放性不僅能促進技術創新，還能激勵更多開發者參與到AI應用的創建中來。然而，隨著AI技術的快速發展，如何確保這些模型的負責任使用以及避免潛在的偏見與誤用，將是未來需要面對的重要挑戰。AMD的測試結果顯示其在這方面取得了一定的成就，但仍需持續關注和改進。
以上文章由特價GPT API KEY所翻譯及撰寫。而圖片則由FLUX根據內容自動生成。
