Apple利用Thunderbolt 5打造AI集群,挑戰Nvidia的DGX產品
Apple唔想畀Nvidia喺人工智能(AI)領域搶先一步,為咗保持競爭力,佢哋令支援Thunderbolt 5嘅Mac機可以串連起來,形成更先進嘅「AI集群」,一齊處理AI模型,呢個做法同Nvidia最新推出嘅DGX產品有啲相似。
Apple對應Nvidia DGX:Mac機當然係首選
Apple之前都有類似經驗,不過今次係首次利用Thunderbolt 5技術。呢個功能會喺macOS 26.2版本推出,現正處於Beta階段,並會用到Apple開源嘅AI框架MLX。MLX係一個應用程式介面(API),讓開發者可以創建或測試新AI模型,然後不斷加入新功能。
Apple同開發商Exo Labs合作,利用MLX API打造呢個串連AI處理能力嘅工具,稱為EXO 1.0。佢可以讓最多四部裝有Thunderbolt 5嘅Mac Studio桌面機或者兩部MacBook Pro筆電,一齊處理同一個AI模型,規模可以大到1萬億參數。Thunderbolt 5嘅連接令系統合而為一,將記憶體資源合併起來,俾AI模型使用。
喺一次網上示範中,Apple嘅產品團隊展示咗四部配備M3 Ultra芯片嘅Mac Studio,一齊運行一個名為Kimi-K2-Thinking嘅1萬億參數模型,耗電量低於500瓦,遠低於傳統GPU AI集群單機最高700瓦嘅耗電。
相比之下,Nvidia嘅DGX Spark系統最高負荷電力約240瓦,但有開發者質疑其效能未必達標。理論上,如果用同數量嘅DGX Spark系統串連,耗電量最高達960瓦,但實際情況未必咁高。無論如何,Apple呢個方案對於需要運行多個集群嘅開發者可能更有優勢。至於整體處理效率,目前仍未有定論。
Apple首度開放M5芯片支援MLX框架
Apple喺最近嘅一篇博客中大力介紹M5芯片嘅AI能力。macOS 26.2版本令開發者可以透過MLX存取M5芯片新加入嘅神經加速器,並提升AI工作負載嘅記憶體效率。呢樣令模型生成第一個輸出嘅時間(TTFT,即Time-To-First-Token)變得更重要,因為呢個階段計算需求高,而M5正正喺計算力方面表現強勁。
M5芯片最大升級係每個GPU核心都配備神經加速器,大幅提升AI性能。喺PCMag對M5 MacBook Pro 14吋嘅評測中已經有體驗。
Apple指出,M5芯片支持專門嘅矩陣乘法運算,對機器學習工作非常關鍵。MLX利用Metal 4引入嘅Tensor Operations同Metal Performance Primitives框架,配合神經加速器功能。
M5嘅AI運算能力令大型語言模型(LLM)嘅TTFT大幅縮短。Apple用阿里巴巴雲開發嘅Qwen模型測試M5硬件,發現TTFT比上一代M4芯片快最多4倍。
不過,生成首個token需要大量計算,後續token嘅推理工作則更依賴記憶體帶寬。雖然4倍速度提升唔能完全延伸到整個生成過程,但Apple仍觀察到整體LLM性能提升約19%至27%,主要得益於M5更高嘅記憶體頻寬。
呢啲性能提升不單止對文字生成有效,對圖像生成同樣有幫助。以MLX生成1024×1024像素嘅FLUX-dev-4bit(12B參數)圖像為例,M5硬件嘅速度比M4快3.8倍。
對於macOS用戶同有意於Mac上開發AI嘅開發者嚟講,呢啲消息無疑十分振奮。不過,如果想喺MacBook上加速AI工作,外接Nvidia RTX顯示卡目前可能仍係最佳選擇,至少要睇下兩部M5 MacBook Pro串連嘅表現先。
編輯評論
Apple喺AI硬件競賽上開始展現出更積極嘅攻勢,利用Thunderbolt 5技術串連多部Mac機,提供類似Nvidia DGX嘅AI集群處理方案,顯示Apple正嘗試以自家生態系統優勢突破AI運算瓶頸。特別係M5芯片神經加速器嘅引入,令Apple硬件喺AI模型處理上有明顯提升,對於Mac用戶來講,這不但意味著更快嘅AI應用體驗,亦為開發者帶來新機會。
不過,Apple嘅AI集群方案仍面臨挑戰,包括如何與Nvidia這種專注AI運算多年的專業硬件競爭,以及Thunderbolt 5嘅帶寬和延遲是否足夠支持更大規模嘅集群運算。未來Apple若能持續優化硬件和軟件協同,並推動更多開發者使用MLX,可能會在AI硬件市場取得更大影響力。
同時,對於AI工作負載而言,Apple強調嘅低功耗優勢非常吸引,尤其係對環保和運營成本敏感嘅用戶而言。相比Nvidia高耗電嘅AI集群,Apple提供一個功耗更低但性能不俗嘅替代方案,有望改變部分AI開發者嘅設備選擇。
最後,Apple如何平衡自家封閉生態與開放合作,並吸引更多AI開發者採用MLX平台,將會係未來成敗關鍵。呢一點,值得業界密切關注。
以上文章由特價GPT API KEY所翻譯及撰寫。而圖片則由FLUX根據內容自動生成。
