MoE 混合專家是什麼?為何 235B 模型只算 22B、卻還是很吃 VRAM

⚡ 站長快讀:核心重點

• 文章屬性:規格解析 / AI 概念解析
• 核心結論:MoE(混合專家)把一個大模型拆成很多個「專家」子網路,每個字只叫出其中幾個來算——所以總參數決定它吃多少 VRAM,啟用參數決定它跑多快,這是兩個不同的數字,別搞混。
• 適用對象:想搞懂為何 2026 開源模型都叫「235B-A22B」這種名字、或正在評估本地跑 LLM 該配多少記憶體的人

📌 快速答案

一句話答案:MoE(混合專家 Mixture of Experts)是一種把模型拆成多個「專家」子網路、每個 token 只啟用其中幾個的架構;它的總參數決定要多少記憶體(VRAM)才裝得下,啟用參數才決定實際運算量與速度,這就是「明明是 235B 卻只算 22B」的由來。

🔍 故事的起點:為什麼模型名字裡塞了兩個參數量

你到 2026 年下載開源大模型,會發現名字愈來愈怪:Qwen3-235B-A22B、Llama 4 Scout(109B/17B)、DeepSeek-V3(671B/37B)、gpt-oss-120b(啟用只有 5.1B)。同一個模型為什麼要標兩個參數量?因為這些全是 MoE(混合專家)模型,「總參數」和「實際幹活的參數」根本是兩回事。

這個設計最容易讓人踩兩種相反的雷:一種是看到「235B」就嚇跑,以為家用電腦絕對跑不動;另一種是看到「只啟用 22B」就太樂觀,以為一張 24GB 顯示卡就能塞。兩個誤會都來自同一件事——沒搞懂 MoE 把「容量」和「速度」拆成了兩個獨立的數字。這篇就用白話把這個錯配講清楚。

🧪 原理拆解

先講傳統 dense 模型:每個字都用上全部參數

要懂 MoE,先看它取代的對象。傳統的「密集」(dense)模型,例如早期的 Llama 2 70B,推論時每產生一個 token,都要讓資料流過全部 700 億個參數。參數愈多,單一個字就算得愈久、愈吃記憶體頻寬。這是一種線性關係:參數量既是「能力上限」,同時也是「每個字的成本」——兩者綁在一起,無法分開。

MoE 要打破的,就是這個綁定。它想要「參數很多(所以很聰明)」,但「每個字只算一小部分(所以很快)」。

MoE:把前饋網路拆成一堆「專家」,每次只叫幾個

MoE 的做法,是把 Transformer 每一層裡的前饋網路(FFN)換成 N 個平行的小型 FFN,每一個就叫一個「專家」(expert),再擺一個「路由器」(router)在前面決定要用誰。每個 token 進來,路由器只挑分數最高的 k 個專家出來算,其餘的專家這一輪就休息。

實際的數字長這樣:早期把 MoE 帶紅的 Mistral Mixtral 8x7B 有 8 個專家、每個 token 選 2 個;DeepSeek-V3 更誇張,每一層有 256 個「路由專家」外加 1 個「共享專家」,每個 token 只啟用其中 8 個;OpenAI 2025 年開源的 gpt-oss-120b 則是 128 個專家選 4 個。共通點是:專家很多,但每次只出動一小撮。

路由器(Router / Gating):誰決定叫哪幾個專家出場

路由器本身是一個很小的、可訓練的網路。每個 token 進來,它會替每一個專家算一個分數,然後選分數最高的 k 個。被選中的專家算完,結果再依分數加權合起來,送往下一層。

這裡有個訓練上的難題:如果放著不管,路由器很容易養成偏心,把大部分 token 都塞給同幾個「明星專家」,其他專家長期閒置、等於白養。所以 MoE 訓練時要加「負載平衡」機制,強迫 token 平均分散——DeepSeek-V3 甚至用了一套不需要額外輔助損失(auxiliary-loss-free)的負載平衡策略來做這件事。至於 DeepSeek 那個「共享專家」,可以理解成每個 token 都會用到的「通才」,負責通用知識;其餘「路由專家」則是按需調用的「專才」。

關鍵錯配:總參數吃 VRAM、啟用參數決定速度

這是全文最重要的一段,請記住這兩句話。

第一,VRAM(記憶體容量)由總參數決定。 因為路由器下一個 token 可能挑到任何一個專家,你事先無法預測,所以全部專家的權重都必須常駐在記憶體裡待命。這代表 VRAM 需求約等於「總參數 × 每個參數佔幾個位元組」,跟啟用多少完全無關。想壓低這個位元組數,就得靠量化,這部分我在本地 LLM 模型量化與 VRAM 需求那篇拆得很細。

第二,解碼速度由啟用參數決定。 單次推論每產生一個 token,實際只需要讀取「被啟用的那幾個專家」的權重來計算。而本地單人推論的解碼速度,幾乎是被記憶體頻寬綁死的(這點我在記憶體頻寬才是本地 LLM 真瓶頸講過),所以每秒能吐幾個 token,取決於「啟用參數 × 位元組數」要從記憶體搬多少,而不是總參數。

把這兩句合起來,就是 MoE 的魔法,也是它的陷阱:你付了一筆「大模型的 VRAM 錢」,換到的是「小模型的速度」加上「大模型的知識廣度」。 容量照大的算、速度照小的跑。

一張表看懂:哪個數字管什麼

2026 主流開源模型 MoE 規格對照

下表整理截至 2026 年 7 月幾個代表性開源 MoE 模型,數字均取自各家官方模型卡或技術報告。看完你就懂「A22B」這種寫法怎麼讀——A 就是 Active(啟用),Qwen3-235B-A22B 意思是「總共 235B、每個 token 啟用 22B」。

⚠️ 上表規格依各模型官方模型卡 / 技術報告,截至 2026-07-08;啟用比例低到像 gpt-oss-120b(116.8B 只啟用 5.1B,約 4.4%),就是靠極多、極細的專家做到的。

VRAM 怎麼估:別被啟用參數騙了

實務換算很簡單:VRAM ≈ 總參數 × 每參數位元組數。以 Qwen3-235B-A22B 為例,FP16(每參數 2 bytes)下就是 235B × 2 ≈ 470 GB;就算 Q4 量化(約每參數 0.5–0.6 byte)壓下來,也還要大約 130–150 GB,再加上隨脈絡長度成長的 KV cache。

所以你不能因為它「只啟用 22B」,就以為 24GB 顯示卡塞得下——那個 22B 是速度指標,不是容量指標。反過來說,一旦你的機器裝得下(例如大容量統一記憶體的機種),它的解碼速度會接近一個 22B 模型,遠比同樣塞了 235B 的 dense 模型(如果真有這種怪物)快得多。這正是為什麼大容量統一記憶體的平台跟 MoE 特別合拍。

💡 總結:MoE 對你選硬體的實際意義

站長我這幾年看本地 LLM 硬體選購,最常見的誤判就是把「啟用參數」當成「VRAM 需求」在算,結果興沖沖下載了一個 A22B 模型,才發現連量化版都塞不進顯示卡。所以先把兩個觀念釘死:先用「總參數 × 量化位元組」估容量(裝不裝得下),再用「啟用參數」估速度(跑不跑得順),這是兩個獨立的步驟,分開看就不會被名字騙。

幾個可以直接拿去用的判斷:第一,截至 2026 年 7 月,主流開源模型幾乎全面轉向 MoE——Mixtral、Llama 4、Qwen3、DeepSeek-V3、gpt-oss 一路數下來都是,這是產業趨勢不是個案,以後你看到雙參數量標示只會愈來愈多。第二,MoE 的甜蜜點是大容量、頻寬還過得去的機器:總參數塞得下、啟用參數又小到讓頻寬壓力可接受,像統一記憶體的機種就很吃香,這部分可以搭我先前的[本地 AI 硬體指南]那類文章一起看。第三,別把 MoE 神化——在「相同啟用參數」的前提下,MoE 通常還是略遜於同尺寸的 dense 模型,它厲害的是用少得多的算力換到接近大模型的知識廣度,而不是無條件更強。

最後一個常被忽略的點:MoE 對「同時多人請求」的批次場景其實不太友善——不同請求可能啟用到不同專家,湊起來等於把全部專家的頻寬都吃滿,省不到啟用參數的便宜。這也是為什麼 MoE 在「個人本地單人使用」的效益,比在「高併發伺服器」明顯得多。

誠信標註:本文所有規格數字均引自各模型官方模型卡與技術報告(見文末來源),非站長本機實測;VRAM 與速度換算為依公開規格所做的理論估算,實際值依量化方式、推論框架與 KV cache 而異。

❓ 常見問題

Q:MoE 模型「只啟用 22B」,那我 24GB 顯示卡是不是就能跑 Qwen3-235B?

不行。啟用參數決定速度,不決定容量。235B 的全部專家都得先載入記憶體,FP16 約要 470 GB,即使 Q4 量化也還要約 130 GB 以上,一張 24GB 卡連量化版都裝不下。要跑這種模型,得靠大容量記憶體(高階多卡或大容量統一記憶體平台),而不是看啟用參數。

Q:同樣「啟用 22B」,MoE 和 dense 模型誰比較聰明?

一般來說,在相同啟用參數(相同推論算力)下,dense 模型會略勝一籌。MoE 的價值不在於「同算力下更強」,而在於用遠少於總參數的算力,換到接近一個超大模型的知識廣度——本質是「用 VRAM 容量換算力效率」的取捨。

Q:為什麼 gpt-oss-20b 用 32 個專家,DeepSeek-V3 卻用 256 個?

專家的數量與粒度是設計上的取捨。更多、更細的專家,理論上路由可以更精準、啟用比例可以壓更低(gpt-oss-120b 就低到約 4.4%),但相對地,路由與負載平衡也更難訓練調校。沒有唯一最佳解,各家會依目標尺寸與訓練預算去拿捏。

Q:「A22B」「8x7B」這些命名到底怎麼讀?

「A22B」的 A 是 Active,指啟用 22B,通常會跟總參數一起寫(Qwen3-235B-A22B = 總 235B、啟用 22B)。「8x7B」是早期 Mixtral 的寫法,指「8 個約 7B 的專家」;但要注意因為專家之間共用了注意力等部分,總參數是 46.7B 而不是單純 8×7=56B,別直接相乘。

🔗 延伸閱讀

• 本地 LLM 模型怎麼選?7B/70B、Q4/Q8 量化與 VRAM 一次搞懂
• [深度解析] 2026 本地端 AI (Local LLM) 硬體指南：NPU 是智商稅嗎？
• 你的 “AI PC” 只是行銷騙局？2026 本地端大模型 (LLM) 實戰與 NPU 真實算力揭密
• LM Studio 完整教學:不打指令,在 Windows 本地跑 LLM

📎 參考資料來源

📖 第一級|廠商官方 / 原始技術報告:

• DeepSeek-V3 Technical Report(arXiv:2412.19437) — 2026-07-08 查證
• Qwen/Qwen3-235B-A22B · Hugging Face 模型卡 — 2026-07-08 查證
• gpt-oss-120b & gpt-oss-20b Model Card(arXiv:2508.10925) — 2026-07-08 查證
• The Llama 4 herd(ai.meta.com 官方部落格) — 2026-07-08 查證

📖 第二級|權威技術說明:

• A Visual Guide to Mixture of Experts(Maarten Grootendorst) — 2026-07-08 查證

⚠️ 本文核心事實以第一級為準,第二級為補充說明。

📅 本文查證戳記:2026-07-08 依各模型官方模型卡與技術報告彙整撰寫(深度 E3,非站長本機實測)。