M.2 AI加速棒勁慳電:MemryX新卡24 TOPS僅耗8W

Ai

MemryX推出新型AI加速模組,助力邊緣計算

MemryX是一家源於密西根大學的科技初創公司,近日推出了一款價格為149美元的M.2模組,旨在為緊湊型計算系統提供高效的AI處理能力。該模組專注於邊緣計算應用,這些應用對於能源效率和緊湊設計的要求極高。

這款模組搭載四顆MemryX MX3 AI加速器晶片,符合標準的M.2 2280形狀因而能輕鬆集成至配備PCIe Gen 3 M.2插槽的系統中。每顆MX3晶片提供6 TOPS(每秒萬億次運算),總計可達24 TOPS的計算能力,且功耗僅為6至8瓦特。此外,該模組還支持多種數據格式,包括4位、8位、16位權重及BFloat16。值得注意的是,該模組不需要主動散熱,而是依賴隨附的被動散熱器來管理熱性能。

性能測試與兼容性

Phoronix對MemryX MX3 M.2模組進行了性能測試,評估其作為AI加速器的表現和可用性。在一台運行Ubuntu 24.04 LTS的系統中安裝該模組後,得益於MemryX的開源驅動程序和開發工具,集成過程相當簡單。該模組的四顆MX3晶片提供的24 TOPS性能被認為足以應對各種推理工作負載,特別是針對8位權重優化的任務。

測試還強調了該模組的強大軟件兼容性,支持TensorFlow和ONNX等框架,並在運行中小型AI模型方面表現出色。每顆MX3晶片最多支持1050萬個8位參數,四顆晶片合共可處理高達4200萬個參數。這一限制源於缺乏板載DRAM。MemryX計劃在2025年推出一款新的PCIe卡,該卡將搭載更多MX3 AI晶片,以解決此問題。

市場潛力與未來展望

MX3 M.2模組的定價為149美元,對於希望為邊緣設備增添AI處理能力的開發者和組織來說,是一個經濟實惠的選擇。MemryX還宣佈將在即將舉行的2025年拉斯維加斯消費電子展(CES)上展示該模組,並計劃展示MX3在各種現實應用中的表現,進一步凸顯其多功能性。

這款模組的推出對於當前的AI市場無疑是一個重要步驟,尤其是在邊緣計算日益受到重視的背景下。隨著AI技術的普及,像MemryX這樣的創新產品將可能成為各類行業應用的核心組件,為開發者提供更多靈活的解決方案。然而,該產品是否能在市場上持續獲得關注,還需觀察其實際應用效果及後續產品的推陳出新。

以上文章由特價GPT API KEY所翻譯及撰寫。而圖片則由FLUX根據內容自動生成。

發佈留言

發佈留言必須填寫的電子郵件地址不會公開。 必填欄位標示為 *