教你點喺Mac本地跑OpenAI開源GPT-OSS模型

如何在Mac上本地設置及運行OpenAI的開源權重模型「gpt-oss-20b」

本週，OpenAI推出了備受期待的開源權重模型「gpt-oss」。這個模型的其中一大賣點是可以在自己的硬件上本地運行，包括搭載Apple Silicon的Mac電腦。以下將教大家如何快速上手以及使用時的注意事項。

模型與Mac的匹配

gpt-oss一共有兩個版本：gpt-oss-20b和gpt-oss-120b。前者被稱為中等規模的開源權重模型，後者則是大型模型。

對於資源充足的Apple Silicon Mac，用戶主要能運行的是中等規模的gpt-oss-20b。兩者的差異在於，較小的模型由於訓練數據集較少，可能會出現更多「幻覺」（即生成不準確或不真實的內容），但它運行速度較快，更適合在高階Mac上本地體驗。

即使如此，這款較小的模型依然是一個非常有趣且免費的工具，適合對本地運行大型語言模型有興趣的Mac用戶嘗試。

需要注意的是，本地模型與像ChatGPT這類雲端聊天機器人還是有區別。開源本地模型缺少許多現代聊天機器人的功能，比如它不會參考網絡實時資訊，這通常會限制幻覺的發生。

OpenAI建議運行gpt-oss-20b至少要有16GB的RAM，但RAM越多的Mac性能會更好。根據早期用戶反饋，16GB RAM只是入門門檻，若想流暢使用，還是需要更多內存。事實上，AI應用的興起也是蘋果近期停止銷售8GB RAM Mac的原因之一（當然有少數例外機型）。

安裝及使用步驟

說完前置條件，實際上手非常簡單。

第一步，在Mac上安裝Ollama應用。Ollama是與gpt-oss-20b交互的窗口。你可以到ollama.com/download下載，也可以直接用[這個鏈接](https://ollama.com/download/Ollama.dmg)下載Mac版本。

第二步，打開Mac的終端機(Terminal)，輸入以下指令：

`ollama pull gpt-oss:20b ollama run gpt-oss:20b`

這會讓你的Mac下載gpt-oss-20b模型，約佔用15GB的磁碟空間。

第三步，啟動Ollama，選擇gpt-oss-20b作為模型。你甚至可以在應用的設定中開啟飛行模式，確保所有運算都在本地完成，完全不需要登入賬號。

要測試模型，只需在文本框輸入提示，模型便會開始運作。需要留意的是，硬件資源決定了模型的運行效率，Ollama會盡可能調動所有資源，運行時Mac可能會變得非常緩慢。

筆者的頂配機型是一台15吋M4 MacBook Air，配備16GB RAM。雖然模型能運作，但對於嘗試來說仍然是個挑戰。比如輸入「hello」回應就花了超過五分鐘，問「第13任美國總統是誰」則花了約43分鐘。所以如果你想長時間使用，真的建議準備更多RAM。

如果你想刪除本地模型並回收磁碟空間，可以用這條指令：

`ollama rm gpt-oss:20b`

更多使用Ollama搭配gpt-oss-20b的資料，可以參考官方資源。當然，你也可以選擇其他Mac AI工具，比如LM Studio。

—

編輯評論：本地運行大型語言模型的意義與挑戰

OpenAI開放gpt-oss-20b的本地運行，標誌著AI技術逐漸由雲端回歸用戶端，讓用戶擁有更大自主權和私隱保障。對香港用戶來說，這意味著未來在網絡不穩或有資安顧慮時，仍能利用本地設備進行AI創作或輔助工作。

不過，當前硬件要求仍然較高，尤其是記憶體需求，讓不少普通用戶難以輕易體驗完整功能。即使是頂配MacBook Air，執行速度仍然緩慢，反映出本地AI模型的技術門檻仍然不低。

此外，模型缺乏實時網絡資訊的結合，令它在資訊準確性和實用性上仍有不足，這點與線上ChatGPT等服務相比，是一大限制。未來如何在本地運行與雲端智能結合，或許是提升使用體驗的關鍵方向。

總體而言，gpt-oss-20b的推出是AI民主化的重要一步，讓高端用戶和開發者能更自由地研究和應用大型語言模型。但對一般用戶來說，仍需等待硬件成本下降及軟件優化，才能真正普及開來。這條路雖長，但充滿潛力，值得香港的科技愛好者持續關注。

以上文章由特價GPT API KEY所翻譯及撰寫。而圖片則由FLUX根據內容自動生成。