應該為你的應用選擇哪一款視覺語言模型？
視覺語言模型（Vision Language Models，簡稱VLMs）作為多模態人工智能（multimodal AI）的一個極具潛力的分支，能同時處理文字與圖像兩種資訊，從而應用於各種視覺語言任務，例如圖像說明、圖像搜尋與檢索、文字生成圖像、視覺問答（Visual Question Answering, VQA）及影片理解等。
早前我們已經介紹過VLM的基本架構、訓練策略及其應用方式。今次，將會聚焦於目前最受歡迎的VLMs、市場常見的評估工具，以及訓練這些模型時常用的數據集。
主流視覺語言模型推介
VLMs發展速度驚人，幾乎每隔一段時間就有更強大的新模型出現。以下列舉的並非全部，但都是現時熱門的代表作：
**GPT-4o**：由OpenAI開發，屬於頂尖的專有VLM，無論是視覺理解還是生成文字、圖像、聲音內容都表現出色。
**Llama 4**：Meta的開源多模態AI，採用全新mixture-of-experts（MoE）架構，支援高達1,000萬token的超長上下文，分三個不同規模，主打原生多模態，不再需要外掛「補丁」來處理視覺任務。
**Gemini 2.5 Flash**：Google旗艦AI新版本，強調多模態理解和推理的速度與效能，支援100萬token上下文，一次可處理多達3,000張圖片。
**DeepSeek-VL2**：來自DeepSeek AI的開源VLM，有多種變體，專注於高效多模態理解。其MoE架構令模型只需啟用較少參數就可達到高效能，表現媲美同類型對手。
**Kimi-VL-Thinking**：Moonshot AI推出的「進階長思考」模型，特別擅長處理長影片、圖片及文件。
**Qwen2.5-VL**：阿里雲研發，長於文件和長影片的理解、物件定位及多語言OCR。
**Gemma 3**：Google DeepMind新作，分多種規模，主打靈活高效、輕量開源，單一TPU或GPU就能運行。
**Molmo**：Allen Institute for AI推出的開源VLM家族，以創新訓練流程著稱，偏向用語音標註而非龐大數據集，能以較少數據達到高效多模態互動。
**NVLM**：NVIDIA的開放式多模態AI家族，在視覺語言任務（特別是OCR）上表現領先。
**Pixtral**：Mistral AI的多模態VLM，分為Pixtral Large（開放權重）及Pixtral 12B（開源），配備強大解碼器及視覺編碼器，能處理含有交錯文字與圖像的長文件，推理與跨模態理解能力突出。
如何評估視覺語言模型？
VLM的效能評估，通常結合多種針對任務的指標、領域基準，以及人工評測：
– **圖像說明（Image Captioning）**：模型根據圖片生成文字說明。常用評分指標有BLEU、ROUGE、CIDEr、SPICE、METEOR、CLIPScore。常見基準數據集包括COCO Captions、CapArena及Flickr30K。
– **視覺問答（VQA）**：模型需根據圖文對正確回答問題。簡單的「是/否」問題以準確率評分，複雜開放式問題則需人手分析或借用如CIDEr等指標。常見基準包括VQA v2.0、GQA及OK-VQA。
編輯評論：VLM生態百花齊放，選擇背後的考量
近年VLM的爆發式發展，標誌著AI正由「單一模態」走向「多模態」融合，這對於香港的科技行業和創業者而言，是一個不可忽視的趨勢。從OpenAI到Meta、Google、NVIDIA，各大科技巨頭都在搶佔VLM高地，開源與專有模型百花齊放，為開發者帶來前所未有的選擇自由。
但選擇哪一款VLM，並非單純追逐「最新最強」那麼簡單。首先要考慮的是應用場景：你需要處理多語言OCR、超長影片，還是圖像說明？其次是資源限制，有些模型極度依賴算力（如GPT-4o、Gemini 2.5 Flash），但亦有如Gemma 3、Molmo這類針對輕量部署設計的選擇。
另一個值得關注的現象，是開源社群的力量。像Llama 4、DeepSeek-VL2、Molmo等開源VLM，已經能在某些專業領域媲美甚至超越商業模型。這不但降低了入門門檻，亦為本地創科團隊提供了更多自主創新的空間。
最後，VLM評估指標的多元化提醒大家，AI模型的「好壞」並非單一數字可以衡量。不同任務、不同數據集、不同語境下，效果可能天差地遠。開發者不妨多做benchmark測試，甚至邀請終端用戶參與評測，才能選出最適合自己業務的VLM。
總括而言，VLM的選擇其實是一場「取捨」與「創新」的博弈。未來的AI應用，必然愈來愈強調跨模態協作與本地化優化，香港的開發者絕對值得密切關注這場技術新浪潮。
