Microsoft出AI神器！CPU都搞得掂，仲快過人哋兩倍！

微軟研究人員聲稱開發出超高效的AI模型，能在CPU上運行

微軟的研究人員聲稱，他們已經開發出迄今為止最大規模的1位元AI模型，也稱為“bitnet”。這款名為BitNet b1.58 2B4T的模型在MIT許可下公開，並且可以在包括蘋果M2在內的CPU上運行。

Bitnets本質上是設計用於輕量級硬體的壓縮模型。在標準模型中，權重——即定義模型內部結構的值——通常會被量化，以便在各種機器上表現良好。量化權重可以降低所需的位元數量，這是計算機能處理的最小單位，從而使模型能在內存較少的晶片上更快運行。

Bitnets將權重量化為僅僅三個值：-1、0和1。理論上，這使得它們在內存和計算效率上遠超當今大多數模型。

微軟的研究人員表示，BitNet b1.58 2B4T是第一個擁有20億個參數的bitnet，“參數”在這裡主要與“權重”同義。根據估算，這個模型在4萬億個標記的數據集上進行訓練，相當於約3300萬本書，並且其性能超過了類似大小的傳統模型。

需要澄清的是，BitNet b1.58 2B4T並未徹底壓制其他20億參數的競爭對手，但顯然它的表現不俗。根據研究人員的測試，該模型在包括GSM8K（小學數學問題集）和PIQA（測試物理常識推理能力）等基準測試中，超越了Meta的Llama 3.2 1B、谷歌的Gemma 3 1B以及阿里巴巴的Qwen 2.5 1.5B。

更令人印象深刻的是，BitNet b1.58 2B4T的運行速度比其同類模型快，某些情況下速度甚至是其兩倍，同時內存使用量卻僅為一小部分。

然而，這一性能的實現有一個前提。

要達成這種性能，需要使用微軟的自定義框架bitnet.cpp，而該框架目前僅能在某些硬體上運行。支持的晶片列表中缺少了主導AI基礎設施的GPU。

這意味著，bitnets或許對於資源受限的設備來說具有潛力，但兼容性問題——以及未來可能持續存在的這個問題——將是一個重要的障礙。

—

在這篇報道中，微軟的BitNet b1.58 2B4T模型展示了AI技術在計算效率和資源利用方面的潛力，尤其是對於那些運行在低功耗設備上的應用。然而，這也突顯了當前AI發展中的一個重要挑戰：兼容性與生態系統的整合。隨著AI技術的日益普及，開發更具兼容性的解決方案將成為未來的關鍵。這不僅能促進技術的進一步發展，還能使更多的用戶和開發者受益，從而推動整個行業的進步。

以上文章由特價GPT API KEY所翻譯及撰寫。而圖片則由FLUX根據內容自動生成。