以$6,000硬件運行DeepSeek R1聊天機器人
你是否以為要運行一個前沿的聊天機器人必須花費巨額的顯示卡？其實不然。來自AI工具公司HuggingFace的工程師Matthew Carrigan表示，僅需$6,000的電腦硬件，就能運行最新的DeepSeek R1大型語言模型（LLM），而且根本不需要高端的顯示卡。
Carrigan建議的配置包括一塊雙插槽的AMD EPYC主板和幾個兼容的AMD處理器。他指出，CPU的具體規格其實並不是最關鍵的，重點在於內存的配置。
他解釋道：“我們需要768GB的內存（以容納模型），這需要24個內存通道（以獲得足夠的帶寬來快速運行）。這意味著需要24個32GB的DDR5-RDIMM模塊。”僅內存的花費就約為$3,400。然後還需要一個機殼、電源、一個1TB的SSD，以及一些散熱器和風扇。
Carrigan表示，這套配置能夠讓你獲得完整的DeepSeek R1體驗，沒有任何妥協。“這是真正的模型，沒有任何蒸餾，並且使用Q8量化以達到最佳質量，”他說。
接下來，只需在系統上安裝Linux，下載700GB的權重，並輸入Carrigan提供的命令行字符串，這樣就能在本地運行大型語言模型了。
在這一切中，有一個值得注意的地方，就是完全沒有提到昂貴的Nvidia顯示卡。Carrigan提供了一段視頻，展示了這個設定下LLM的本地運行效果以及大致的性能指標。
他指出：“這個配置的生成速度為每秒6到8個標記，具體取決於CPU和內存的速度，或者如果聊天歷史較長，速度會稍微降低。”視頻中顯示模型以合理的速度生成文本，但這僅針對單一用戶。如果將這個設置擴展到多個用戶，每位用戶的性能顯然會變得無法使用。
簡而言之，這意味著$6,000的硬件實際上僅能支持一位用戶。因此，這種方法顯然不適合用於建立一個能夠服務數百、數千甚至數百萬用戶的AI業務。對於這樣的應用場景，顯示卡可能會更具成本效益，即使它們的單位價格非常高。
Carrigan還提到，依賴顯示卡的配置可能很快就會達到三位數的成本，儘管性能會更好。
AI的真實性與運行成本
這一發現令人著迷，因為它告訴我們其實不需要花費巨額金額就能在本地運行全功能的LLM。這也讓我們更深入地理解了最新LLM所暗示的智能規模。
作為終端用戶，當我們體驗這些機器人所呈現的似乎是意識的輸出時，往往會認為生成LLM的輸出需要巨大的計算能力。但這套配置卻是依靠幾顆AMD處理器來實現。
因此，除非你認為幾顆AMD處理器能夠擁有意識，否則這一硬件解決方案展示了即使是最新、最先進的LLM的平凡現實。或許，AI末日並不會如我們想象中那麼快來臨。
在這個快速發展的技術世界中，我們需要保持警覺，認識到即使是最先進的技術也可能並不需要我們想象中的巨額投資。這不僅是對硬件需求的重新評估，也是對AI技術本身的一次反思。是否我們過於依賴高端硬件來證明AI的能力，而忽視了其背後的算法和模型的真正價值？
以上文章由特價GPT API KEY所翻譯及撰寫。而圖片則由FLUX根據內容自動生成。
