私隱至上！教你輕鬆本地運行AI大模型

MIT Technology Review 教你點樣喺自己嘅手提電腦運行大型語言模型（LLM）

Simon Willison 有個末日求生方案：佢將幾個自己鍾意嘅開源大型語言模型（LLM）儲喺一支USB手指入面。呢啲模型係由創作者公開分享，理論上可以用本地硬件下載同埋運行。如果人類文明真係崩潰，Willison 打算靠呢啲包含數十億參數嘅模型知識來幫助重建社會。「呢啲模型就好似一個奇怪、濃縮又有瑕疵嘅維基百科，我可以靠住我嘅USB手指去幫助重啟文明。」佢咁講。

但其實你唔使等到世界末日先想喺自己嘅裝置運行LLM。Willison 喺本地LLM同軟件開發方面寫咗好受歡迎嘅博客，仲有好多志同道合嘅人。喺 Reddit 有個名為 r/LocalLLaMA 嘅討論區，專門分享點樣用自己嘅硬件跑LLM，會員已經有五十萬人。

對於注重私隱、想擺脫大型LLM公司控制，或者單純鍾意玩嘢嘅用戶嚟講，本地模型係一個好有吸引力嘅選擇，代替ChatGPT同其他網絡平台。

過去，喺本地運行LLM嘅門檻好高：早期冇高價嘅GPU，根本跑唔到有用嘅模型。但研究人員成功地將模型縮細同埋加快運算速度，令到而家只要有手提電腦，甚至智能手機，都可以參與呢個世界。「幾年前我會話個人電腦根本冇能力跑好嘅模型，你要用五萬蚊嘅伺服器機架先得。但我一次又一次被證明錯。」Willison 如是說。

點解你會想下載自己嘅LLM？

使用本地模型比起直接用ChatGPT嘅網頁介面麻煩啲，但ChatGPT呢類工具嘅方便背後係有代價。倫敦智庫Demos嘅數碼政策總監Elizabeth Seger話：「有句老話：如果嘢係免費嘅，你就係產品。」

OpenAI默認會用用戶嘅對話去訓練佢哋嘅模型，雖然用戶可以選擇唔參與，但最近紐約時報起訴OpenAI嘅案件結果，OpenAI要保留所有用戶同ChatGPT嘅對話記錄。

Google 亦會用用戶同 Gemini 嘅互動數據去訓練模型，唯一唔想被訓練嘅方法係設定自動刪除聊天記錄，但咁樣你就冇得睇返以前嘅對話。Anthropic 通常唔會用用戶對話去訓練，但會用被標記作「信任與安全審查」嘅對話。

訓練過程帶嚟嘅私隱風險特別大，因為模型會將訓練數據內化，甚至會重複當中嘅內容。好多用戶都會同LLM傾啲好私密嘅嘢，但如果模型係用呢啲數據訓練，啲對話可能冇想像中咁私密。

Hugging Face 嘅首席倫理學家 Giada Pistilli 指出：「你嘅私人故事可能已經被烹調成模型嘅一部分，遲早會以某啲形式被其他人‘吐出’嚟。」對佢嚟講，選擇本地模型唔單止係私隱問題，仲涉及權力問題。「科技就係權力，擁有科技的人就擁有權力。」唔論係國家、組織或個人，都可能因為想打破AI權力集中喺少數大公司手上，而選擇自己運行本地模型。

擺脫大型AI公司嘅控制，亦意味住你可以掌控自己嘅LLM體驗。網上模型經常無預警改變，4月時ChatGPT突然變得好討好用戶，最近一個叫Grok嘅模型喺X（前Twitter）自稱「MechaHitler」，呢啲變化有時提升性能，但亦可能帶來不良行為。本地模型雖然有自己嘅怪癖，但至少一貫可靠，唯一可以改變佢嘅就係你自己。

當然，能夠喺個人電腦運行嘅模型，性能肯定比唔上大型AI公司嘅旗艦產品，但弱啲嘅模型有自己嘅好處——佢哋嘅錯誤會更明顯，幫你識別大型模型可能嘅「幻覺」同謊言。

Willison話：「運行本地模型其實係好好嘅練習，幫你建立對AI能力嘅直覺。」

點樣開始玩本地LLM？

本地LLM唔係淨係畀高手用嘅。只要你熟悉用電腦嘅命令行介面（用文字指令操作系統），[Ollama](https://ollama.com/)係一個好選擇。安裝完軟件後，你可以用一條命令下載同運行佢哋提供嘅數百個模型。

如果你完全唔想接觸程式碼，[LM Studio](https://lmstudio.ai/)係一個用戶友善嘅應用程式，幫你輕鬆運行本地LLM。你可以喺App入面直接瀏覽Hugging Face嘅模型，佢會標示「員工推薦」同埋模型需要用嘅硬件資源，方便你揀啱適合你機器嘅模型。揀好之後下載，打開用App嘅聊天介面就可以開始對話。

玩多幾款模型，你會慢慢了解自己電腦嘅承載能力。Willison話，每十億參數大約需要1GB RAM。我試過我嘅16GB手提電腦跑阿里巴巴嘅Qwen3 14B，只要關閉其他程式都可以順利運行。如果覺得慢或者唔順，可以揀細啲嘅模型，例如Qwen3 8B都幾好用。

如果用得好細嘅模型，甚至可以喺手機上運行。我用舊iPhone 12用一個叫LLM Farm嘅App跑Meta嘅Llama 3.2 1B，雖然模型唔係好理想，好快就亂咁講同出現幻覺，但玩下都幾有趣。如果以後喺飛機上冇Wi-Fi想問啲可能錯嘅冷知識，我就知道點做啦。

我試過嘅有啲模型夠用，甚至可以喺新聞工作上試用。雖然我未打算太依賴手機模型，但玩下都幾開心。Willison話：「大多數人可能冇必要咁做，咁都好。但對於想玩嘅人嚟講，真係好好玩。」

—

評論與啟示

今時今日，AI同大型語言模型已經唔再係大型機房專屬，隨住技術進步，人人都可以用手提電腦甚至手機體驗「自家版ChatGPT」。呢種民主化嘅趨勢不但令AI更貼近生活，仲激發用戶對私隱、權力分配同自主控制嘅思考。

本地運行LLM嘅最大賣點係私隱同自主權，唔使擔心數據被大公司用嚟訓練，亦唔怕模型突然「變臉」。不過，現時本地模型仍有性能限制，尤其係手機版，暫時難以媲美雲端旗艦產品，使用體驗亦較粗糙。

不過，呢啲限制反而係教育用戶嘅良機，令佢哋更清楚AI模型嘅運作原理同局限性，從而避免盲目依賴。更重要係，推動本地模型發展，亦係推動AI權力分散，避免未來由少數巨頭壟斷AI技術，帶嚟壟斷與監控危機。

香港同亞洲地區亦應該關注本地LLM嘅發展，鼓勵開源文化同本地創新，減少對外部平台嘅依賴，提升數碼主權。尤其係面對日益嚴峻嘅數據監控同資訊安全風險，掌握自主AI使用權變得更重要。

總括而言，喺自己裝置跑LLM唔單止係技術挑戰，仲係一場關於私隱、權力同自由嘅社會實驗。隨住技術進步，未來或許人人都可以成為自己AI嘅主人，令人工智能真正成為普羅大眾嘅工具，而唔係巨頭嘅產品。

以上文章由特價GPT API KEY所翻譯及撰寫。而圖片則由FLUX根據內容自動生成。