忘掉Nvidia：DeepSeek AI在這些奇特芯片上幾乎瞬間運行
DeepSeek的AI在Groq和Cerebras的替代芯片上迅速完成「推理」任務。
Jason Dorrier
2025年2月6日
冠軍並非永恆
上週，DeepSeek AI以其高效能和低成本的表現令投資者及科技公司感到震驚。現在，兩家電腦芯片初創公司正借助這股熱潮。
Cerebras Systems製造的巨大電腦芯片，尺寸如同餐盤，設計極具創新。而Groq則專門生產為大型語言模型量身定製的芯片。在一場正面較量中，這些替代芯片在運行DeepSeek的病毒式AI版本時，表現遠超競爭對手。
其他硬件上，答案可能需要幾分鐘才能得到，而Cerebras表示，其版本的DeepSeek能在僅僅1.5秒內完成一些編碼任務。根據Artificial Analysis的報告，該公司的晶圓級芯片速度比競爭對手在GPU上運行AI的速度快57倍，無疑是速度最快的。就在上週，Groq推出了一個新產品，超越了Cerebras。
理性推進
DeepSeek的新AI，R1，是一個「推理」模型，類似於OpenAI的o1。這意味著它不僅僅是輸出第一個生成的答案，而是逐步分析問題，拼湊出最終答案。
對於日常聊天來說，這並沒有太大差異，但對於像編碼或數學這樣的複雜且有價值的問題，這卻是一個飛躍。
DeepSeek的R1已經非常高效。上週的報導指出，R1的訓練成本相對較低，據說僅需600萬美元（儘管這一數字的意義存在爭議），而且運行成本也低，其權重和工程細節都是開放的。這與即將到來的對專有AI項目的投資相比，形成了鮮明對比，後者的規模甚至超過了阿波羅計劃。
這一消息讓投資者重新考慮——也許AI並不需要科技領袖們認為的那麼多資金和芯片。Nvidia，作為這些投資的潛在受益者，股市遭遇重創。
小巧快速—依然聰明
所有這些都是在軟件層面，算法變得更便宜和高效。但用於訓練或運行AI的芯片也在不斷改進。
去年，由Jonathan Ross創辦的Groq，這位曾經開發谷歌內部AI芯片的工程師，因為專為大型語言模型設計的芯片而引起了轟動。當時，流行的聊天機器人在GPU上逐行輸出，而在Groq的芯片上，對話接近實時。
而現在，新的推理AI模型故意設計得需要更長時間才能提供答案。
這種被稱為「測試時計算」的模型在背景中生成多個答案，然後選擇最佳答案並提供其理由。公司表示，答案的質量隨著其「思考」的時間增長而提高。這些模型並不一定在所有方面都超越舊模型，但在舊算法難以應對的數學和編碼等領域卻取得了進展。
隨著推理模型將焦點轉向推斷——即完成的AI模型處理用戶查詢的過程——速度和成本變得更加重要。人們希望快速獲得答案，並不想為此支付更高的價格。在這方面，Nvidia正面臨日益增長的競爭。
成為未來的一部分
在這種情況下，Cerebras、Groq和幾家其他推斷提供商決定托管一個縮小版的R1。
它們運行的是DeepSeek R1 Llama-70B，這個模型的參數數量是6710億的原始模型的縮小版，只有700億參數。儘管如此，根據Cerebras的說法，它在一些基準測試中仍然能超越OpenAI的o1-mini。
人工分析平台上週進行了幾個推斷提供商的性能比較，結果Cerebras名列前茅。在相似的成本下，晶圓級芯片每秒輸出約1500個標記，而SambaNova和Groq則分別為536和235。在效率提升的演示中，Cerebras表示其版本的DeepSeek在1.5秒內完成了一個編碼任務，而OpenAI的o1-mini則花了22秒。
昨日，人工分析更新了包括Groq的新產品，該產品超越了Cerebras。
雖然較小的R1模型在參數上無法與更大的模型相提並論，但人工分析指出，這是推理模型首次達到與非推理模型相媲美的速度。
除了速度和成本外，推斷公司還會在其所在地托管模型。DeepSeek上週迅速攀升至熱門榜首，但其模型託管在中國，專家們隨後對安全和隱私提出了擔憂。Cerebras在其新聞稿中強調，它在美國托管DeepSeek的模型。
少即是多
無論其對未來的長期影響如何，這一消息顯示出AI朝著更高效率的強烈趨勢，這一趨勢已經存在。
自從OpenAI去年預覽o1以來，該公司已經轉向其下一個模型o3。上週，他們向用戶提供了最新模型的小型版本o3-mini。昨日，谷歌發布了其推理模型的版本，其效率接近R1。由於DeepSeek的模型是開放的，並且包括了詳細的開發論文，業內的老牌公司和新興公司都將採用這些進步。
與此同時，前沿實驗室仍然致力於擴大規模。谷歌、微軟、亞馬遜和Meta今年將在AI數據中心上花費3000億美元。而OpenAI和軟銀則達成了一個為期四年的5000億美元數據中心項目，名為Stargate。
Anthropic的首席執行官Dario Amodei將這一過程形容為三個部分的飛輪。更大的模型產生能力的飛躍。公司隨後會精煉這些模型，其中包括發展推理模型。在此過程中，硬件和軟件的進步使算法變得更便宜和高效。
這一後續趨勢意味著公司可以在前沿技術上以更低的成本擴大規模，而具有高級能力的小型靈活算法則開啟了新的應用需求。直到這一過程耗盡——這是一個有爭議的話題——對各類AI芯片的需求仍將存在。
以上文章由特價GPT API KEY所翻譯及撰寫。而圖片則由FLUX根據內容自動生成。
