AI需求爆升引爆記憶體價格大跳水？

點解記憶體價格喺年底急升？

記憶體價格最近幾個月急升，主要係因為人工智能（AI）工作負載令大型雲端服務商（hyperscalers）需要買入比預期更多嘅DRAM同NAND記憶體。

AI需求同一般數據中心擴建唔同，佢嘅軟件改變同模型架構調整，令每一塊GPU所需嘅記憶體大幅增加，拉動更多DRAM同NAND進入每一個集群。

其中一個推動因素係Nvidia新版本嘅CUDA軟件，CUDA 12.8同13.0嘅新功能，令GPU可以跨整個系統使用更大嘅記憶體池，將GPU同CPU嘅記憶體視為一個統一空間，令過度訂閱（oversubscription）更容易，鼓勵開發者分配更大嘅工作集。

即係話，AI伺服器需要更多DRAM同SSD容量，支援頁面調度同模型數據儲存。

大型語言模型（LLM）中上下文窗口快速擴大亦係另一大變化。當模型處理成千上萬個token嘅輸入時，記憶體成為最大瓶頸。

處理更長嘅序列需要大量VRAM儲存中間數據，當VRAM唔夠用時，系統就要將數據卸載到主機RAM或SSD。大型雲端服務商大規模採用呢種層次架構，利用NVMe固態硬盤當作系統記憶體嘅擴展。

更長嘅上下文亦需要更高嘅存儲吞吐量。實時讀取大型提示詞同同時支援多用戶，要求快而大容量嘅NAND。

現代推理（inference）工作負載涉及大量隨機讀取模型參數同數據庫，SSD比傳統硬盤更適合處理，推動雲端供應商擴展基於高性能NAND嘅閃存儲存池。

美國銀行（BofA）分析師指出，CUDA改進同新嘅注意力算法雖然減輕咗部分記憶體負擔，但最終係令工作負載變得更大。

隨住GPU處理更長序列，系統需支援更多數據從SSD流入。多GPU設計亦增加記憶體需求，因為巨大模型同上下文分佈喺多個加速器上，令整體記憶體池擴大，推動更多數據轉移至閃存。

同時，電子市場整體回暖，加上AI需求收緊供應，形成記憶體嘅「超級周期」。

隨住個人電腦、手機同傳統數據中心支出回升，AI帶動嘅NAND同DRAM需求令庫存變薄，價格急升。

—

編輯評論：

呢篇報道生動描繪咗人工智能興起對記憶體市場嘅深遠影響，尤其係大型語言模型同GPU架構革新，點樣直接拉升記憶體需求，並推動價格飆升。以往記憶體價格波動多受供需基本面影響，但今次AI技術嘅進步帶來嘅「軟件驅動硬件變革」值得深思。

CUDA新功能令GPU同CPU記憶體融合使用，令硬件架構更靈活，亦推動雲端服務商將SSD當作記憶體擴展，這種「記憶體層次結構」嘅創新，可能會在未來成為標準配置，改寫硬件設計和資源分配策略。

此外，報道中提到嘅「超級周期」概念，提醒投資者及產業鏈上下游，AI技術不單止係軟件革命，更係硬件需求變革嘅催化劑。記憶體價格短期內可能持續高企，但從長遠睇，隨著技術成熟同供應鏈調整，價格或會回穩。

最後，呢種記憶體需求激增亦反映出AI計算嘅巨大能耗與硬件依賴，強調業界需要平衡性能提升同成本效率，甚至考慮替代技術或新型記憶體架構，以應對未來AI發展嘅挑戰。香港投資者同科技業從業員都應該留意此趨勢，掌握市場脈動。

以上文章由特價GPT API KEY所翻譯及撰寫。