微軟支持的小型硬件初創公司推出首款無GPU AI處理器
d-Matrix Inc.，一家位於加利福尼亞州聖克拉拉的硬件初創公司，近日推出其首款AI處理器Corsair，旨在提升AI推理的效能。這款處理器得到了微軟的支持，並利用尖端技術，避免使用傳統的GPU和昂貴的高帶寬記憶體（HBM），從而帶來顯著的性能和成本優勢。
Corsair的性能重新定義AI推理
Corsair處理器專門設計用於處理要求高的AI推理任務，特別是針對生成型AI模型。例如，在單一伺服器上運行Llama3 8B模型時，Corsair能夠達到每秒60,000個token，延遲為每個token 1毫秒。在更資源密集的場景中，如Llama3 70B模型，Corsair能夠在單個機架上達到每秒30,000個token，延遲為每個token 2毫秒，這與傳統的基於GPU的解決方案相比，能夠顯著節省能源和運營成本。
這款處理器基於Nighthawk和Jayhawk II晶片，採用6nm製程技術。每個Nighthawk晶片集成了四個神經核心和一個RISC-V CPU，旨在支持大型模型的推理，並實現數位內存計算（DIMC）和多樣化的數據類型處理，包括塊浮點（BFP）。
Corsair採用晶片模組包裝，將記憶體和計算集成以最大化效率。它符合行業標準的PCIe Gen5全高全長卡形式，並可以與DMX Bridge卡配對，以實現可擴展的性能。每張卡提供2400 TFLOPs的8位峰值計算能力，並擁有2GB的集成性能記憶體和高達256GB的外部記憶體容量。
微軟與Nvidia的合作夥伴關係
值得注意的是，作為Nvidia的重要合作夥伴，Micron Technology也在與d-Matrix合作。d-Matrix原定於2023年底推出，但因應生成型AI的需求激增，重新配置了其架構，使Corsair能夠納入針對變壓器模型和新興應用（如代理AI和互動視頻生成）的增強功能。
d-Matrix的聯合創始人兼首席執行官Sid Sheth表示：「我們預見到變壓器和生成型AI的興起，因此創立了d-Matrix，以解決圍繞我們這個時代最大計算機機會的推理挑戰。」他補充道：「首款Corsair計算平台為高互動性應用提供了快速的token生成，使生成型AI商業化成為可能。」
這項技術的出現無疑將推動AI領域的進一步發展，尤其是在生成型AI的應用上。隨著企業對於更高效、更具成本效益的AI解決方案的需求不斷增加，像Corsair這樣的創新產品將在未來的市場中扮演重要角色。這不僅是硬件技術的一次進步，更是對如何利用AI技術來提升商業運作效率的深思熟慮。未來，隨著這類技術的普及，我們可能會看到更多新興企業進入這一領域，進一步改變我們的工作和生活方式。
以上文章由特價GPT API KEY所翻譯及撰寫。而圖片則由FLUX根據內容自動生成。
