Mac 跑本地 LLM 記憶體怎麼挑?Apple Silicon 統一記憶體與 M4/M5 選購全解析

⚡ 站長快讀

• 一句話重點:Mac 本地 LLM 拚的是「統一記憶體」——容量決定塞不塞得下模型、頻寬決定 token 跑多快,GPU 核心數反而其次。
• 選購懶人包:16GB 玩 7–8B、32GB 跑 30B 級、64GB 起跳才穩吃 70B(Q4)、128GB 才有餘裕;記憶體焊死不可升級,一次買到位。

⚡ 快速答案

Mac 本地 LLM 的效能瓶頸在統一記憶體:容量決定能載入多大的模型、頻寬決定 token 生成速度。想穩跑 70B(Q4 量化約 40GB)建議 64GB 起、128GB 最安心;只玩 7–8B 小模型,16GB 就夠用。買 Mac 前先看記憶體,別只盯著晶片世代。

🧠 統一記憶體到底特別在哪?為什麼 Mac 適合跑大模型

先講結論:Apple Silicon 把 CPU、GPU、Neural Engine 接到「同一塊記憶體」上,沒有獨立顯示卡那道 VRAM 硬牆,所以一台 128GB 的 Mac 能載入獨顯卡塞不下的大模型。

一般 PC 跑本地 LLM,模型權重要先塞進顯示卡的 VRAM。問題是消費級顯卡 VRAM 給得很小氣——就算是頂規遊戲卡,VRAM 也就 32GB 上下,想跑 70B 這種等級的模型直接卡在容量天花板。這條 VRAM 硬牆是獨顯架構的先天限制,想突破就得堆多張卡,成本與耗電都很可觀。

Apple Silicon 走的是統一記憶體架構(Unified Memory Architecture, UMA):整顆晶片共用一大池記憶體,GPU 不必透過 PCIe 把權重從系統記憶體搬到 VRAM,而是直接就地存取。對 LLM 來說這有兩個好處:一是省掉 PCIe 搬運的延遲與頻寬瓶頸,二是「可用顯存」直接等於整台機器的記憶體規模。換句話說,買 128GB 的 MacBook Pro,就等於拿到一張「128GB 顯存」的 AI 機器——這是同價位獨顯玩家很難達到的容量。

想更完整理解本地 AI 的硬體全局(NPU、GPU、VRAM 各扮演什麼角色),可以先看站上這篇2026 本地端 AI 硬體指南打底,本文專攻 Mac 這條線。

📏 「塞得下」不等於「跑得快」:容量 vs 頻寬

先講結論:記憶體容量決定「能不能載入模型」,記憶體頻寬決定「跑多快」,兩者是兩回事,買機器要一起看。

很多人以為只要記憶體夠大、模型塞得進去就沒事了,結果實際跑起來慢到想睡。原因在於本地 LLM 的推論分兩個階段,吃的資源完全不同:

• Prefill(讀提示詞):把你輸入的一大段文字一次算完,這是算力密集——GPU 核心越強、Neural Accelerator 越多就越快。
• Decode(逐字生成):一個 token 一個 token 吐出來,每吐一個字都要把整個模型的權重讀過一遍,這是記憶體頻寬密集。

也就是說,你看到 AI「打字」的速度(token/秒),主要卡在記憶體頻寬,而不是 GPU 有多少核心。這也是為什麼站長一直強調:真正的瓶頸是記憶體頻寬,不是顯卡算力。

用一個粗略的推估公式抓感覺(理論上限、非實測):

token/秒 ≈ 記憶體頻寬 ÷ 模型佔用記憶體大小

以 M4 Max 的 546GB/s 頻寬、跑 70B Q4(約 43GB)為例,理論上限約 546 ÷ 43 ≈ 12.7 token/秒。而 llama.cpp 社群第三方實測 M4 Max 跑 Llama 3.1 70B Q4_K_M 約落在 12.5 token/秒(根據第三方評測,非站長實機),幾乎貼著頻寬天花板——正好印證 decode 是記憶體頻寬綁定。同一顆 M4 Max 跑 8B Q4 小模型則約 51 token/秒(第三方評測),因為模型小、每個 token 要讀的資料少,但仍受頻寬與其他開銷影響,不會等比例暴衝。

重點摘要:

• 容量不夠 → 模型載不進去,直接跑不動(或被迫吐到 SSD,慢到不能用)。
• 頻寬不夠 → 模型跑得動但 token 很慢,大模型尤其明顯。
• 選購要「容量 × 頻寬」一起看:高階 Max 晶片兩者兼具,基礎晶片容量小、頻寬也低。

🍎 M4 vs M5:記憶體與頻寬規格全表

先講結論:同一世代裡,Pro/Max 才有大容量與高頻寬;基礎版 M4、M5 都卡在 32GB 上限,跑不了 70B。

以下規格全部對回 Apple 官方新聞稿(M4 系列 2024-10、M5 2025-10、M5 Pro/Max 2026-03),數字為官方公布值:

幾個關鍵觀察:

• M5 世代的重點是「AI 算力」而非容量。Apple 官方說 M5 的 GPU 每個核心內建 Neural Accelerator,AI 算力較 M4「超過 4 倍」(官方測試,peak GPU compute for AI)。這對 prefill(讀長提示詞) 幫助最大;但 decode 的 token 速度仍看頻寬,所以 M5 的 153GB/s 對比 M4 的 120GB/s,約多 3 成,才是逐字生成變快的主因。
• 基礎版 M5 仍是 32GB 天花板,想跑 70B 這條路走不通,得往 M5 Pro(64GB)或 M5 Max(128GB)走。
• M5 Max 頻寬 614GB/s 是目前 MacBook 級最高,Apple 官方直接點名「更高的 LLM token 生成」;要在筆電上跑最大模型、最快速度,這是首選。
• 若要再往上,Mac Studio 的 M3 Ultra(上一代 Ultra 級)最高支援到 512GB 統一記憶體、頻寬約 800GB/s 級,是目前整條線的容量與頻寬天花板,適合塞進 100B 以上或大型 MoE 模型(截至發文,M5 尚無 Ultra 版本)。

🔢 幾 GB 記憶體跑得動哪種模型?

先講結論:抓「模型佔用約等於參數量 × 每參數位元 ÷ 8」,再預留系統與 KV cache,32GB 對應 30B 級、64GB 對應 70B、128GB 才有餘裕。

模型佔多少記憶體,主要看參數量與量化位元。想搞懂 Q4、Q8 這些量化怎麼算、為什麼能壓縮,可參考站上這篇本地 LLM 模型量化與 VRAM 對照。下表為社群常見的概略需求(第三方/社群數據,非站長實測):

這裡有個 Mac 專屬的陷阱要注意:macOS 預設不會把整台記憶體都讓給 GPU。系統預設大約只允許 GPU「wire」(鎖定)總記憶體的 66–75% 左右(依機型與 macOS 版本),剩下留給作業系統。所以:

• 32GB 機器,GPU 大概只能用到 ~24GB → 30B Q4(約 20GB)可行,70B Q4 直接爆掉。
• 64GB 機器,GPU 大概能用到 ~48GB → 70B Q4(約 40GB)「塞得下」,但幾乎沒有餘裕給 KV cache 與系統,長對話容易觸發記憶體壓力、被迫吐到 SSD 導致 token 暴跌。
• 128GB 機器,GPU 可用 ~96GB → 70B 舒適、還能同時開瀏覽器與 IDE,甚至塞更大的 MoE 模型。

社群普遍的共識是:要「穩定」跑 70B 工作流,128GB 才是舒服的門檻;64GB 是「跑得動但別開太多東西」的邊緣線。

⚙️ 進階技巧:把更多統一記憶體讓給 GPU

先講結論:用 iogpu.wired_limit_mb 這個 sysctl 可以調高 GPU 可用的記憶體上限,但務必留 8–16GB 給系統,否則整台會不穩。

如果你已經有 Mac,覺得預設 75% 不夠用,macOS Sonoma(14.x)之後可以手動調高 GPU 的記憶體鎖定上限。指令很簡單(單位是 MB):

sudo sysctl iogpu.wired_limit_mb=98304

上面這行是把上限設成 96GB(96 × 1024 = 98304),適合 128GB 機器想多擠一點給大模型時用。幾個實務要點:

• 設定即時生效,不用重開機;用不含等號的 sysctl iogpu.wired_limit_mb 可讀回目前值確認。
• 一定要留系統記憶體:常見建議是至少留 8–16GB 給 macOS,別設到 100%,否則系統會被餓死、當機或狂 swap。
• 在 llama.cpp 這類工具的啟動 log 裡,可以看到類似 recommendedMaxWorkingSetSize 的數字變大,代表設定有生效。
• 想開機自動套用,可把設定寫進 /etc/sysctl.conf(sysctl 的變更預設重開機會失效)。

⚠️ 這個調整本身不會壞硬體,但把上限拉太高會讓系統極度不穩,甚至無預警當機。不確定該設多少,就從「總記憶體 − 16GB」開始,循序調整,別一次拉滿。

🛠️ 軟體怎麼跑:MLX、Ollama、LM Studio

先講結論:Mac 上跑 LLM 首選 Apple 自家的 MLX 框架,想要圖形介面就用 LM Studio,Ollama 則是最省事的命令列選擇。

• MLX:Apple 官方開源的機器學習框架(ml-explore 專案),從頭為統一記憶體設計,能直接吃 Apple Silicon 的架構優勢。社群普遍反映在同一台 Mac 上,MLX 的推論速度比 llama.cpp / Ollama 快約 1 到 2 成(社群數據,依模型與版本而異)。想追求 Mac 上的最佳速度,MLX 是首選。
• LM Studio:圖形介面、不必打指令,適合新手,官方也在 M5 發表時被 Apple 點名展示本地 LLM。
• Ollama:命令列一行拉模型、一行跑起來,跨平台、生態成熟,適合想快速上手的人。

值得一提的是,Apple 在 M5 與 M5 Pro/Max 的官方新聞稿裡,都直接拿 LM Studio 跑本地 LLM 當作 AI 效能的展示情境——這代表「在 Mac 上跑本地大模型」已經被 Apple 當成正式賣點,而不只是玩家的偏門玩法。

💡 選購建議:哪台 Mac、配多少記憶體

先講結論:先決定你要跑多大的模型,再回推記憶體;記憶體焊死不可升級,寧可一次買大,不要事後後悔。

• 16GB(MacBook Air / 基礎 M4、M5):入門嘗鮮,舒服跑 7–8B、勉強 13–14B。適合想試玩本地 AI、對速度不苛求的人。
• 32GB(基礎 M4/M5 頂配、M4 Pro):主力甜蜜點之一,30B 級模型舒適,也能同時開好幾個小模型。M5 基礎版頻寬更高、prefill 更快,但一樣卡 32GB。
• 64GB(M4 Pro / M5 Pro):能碰 70B Q4,但餘裕不多、別同時開一堆程式。適合偶爾要跑大模型、預算有限的人。
• 128GB(M4 Max / M5 Max):70B 舒適、還能塞大型 MoE,一邊跑模型一邊工作也不卡。認真要在筆電上做本地 AI 開發,直上 Max + 128GB。
• 512GB(Mac Studio M3 Ultra):容量與頻寬天花板,適合 100B 以上或多模型並行的重度需求。

M4 還是 M5? 如果你主力是跑大模型,記憶體容量(選 Pro/Max)比晶片世代更關鍵——一台 M4 Max 128GB 跑 70B,會比 M5 基礎版 32GB 實用得多,因為後者根本塞不下。但若你的模型都在 32GB 以內,M5 世代的高頻寬(153GB/s)與 Neural Accelerator 會讓 prefill 與 token 速度明顯更好,值得優先考慮。

💡 價格與供貨為撰文日(2026 年 7 月)查證結果,實際規格與售價請以 Apple 官方即時資訊為準。記憶體無法事後擴充,務必依需求一次配足。

❓ 常見問題(FAQ)

Q:Mac 真的能跑 70B 大模型嗎?
可以,但要看記憶體。70B Q4 量化約佔 40GB,考慮 macOS 只讓 GPU 用約 75%,實務上 64GB 是最低門檻、128GB 才舒適。基礎版 M4/M5(32GB 上限)跑不了。

Q:M5 比 M4 更適合跑本地 LLM 嗎?
同級距下 M5 更好——頻寬更高(基礎版 153 vs 120GB/s)、GPU 內建 Neural Accelerator 讓讀提示詞更快。但基礎 M5 仍是 32GB 上限,想跑大模型還是得選 M5 Pro/Max 或 M4 Max。

Q:統一記憶體可以事後加裝嗎?
不行。Apple Silicon 的記憶體是封裝在晶片上、焊死的,購買時就決定終生,無法像桌機那樣加記憶體條。這也是「寧可買大」的原因。

Q:同樣預算,買 Mac 統一記憶體還是 PC 獨顯?
看需求。要跑「超過單張顯卡 VRAM」的大模型、又想省電安靜,Mac 的大容量統一記憶體很划算;要極限 token 速度或做訓練,高階獨顯(高頻寬 GDDR/HBM)仍有優勢。詳細取捨可參考本文開頭提到的本地端 AI 硬體指南深度文。

Q:記憶體不夠硬跑會怎樣?
macOS 會把裝不下的部分吐到 SSD(swap),記憶體壓力飆到 90% 以上,token 速度直接崩,還會加速 SSD 耗損。務必讓模型 + 系統開銷留在實體記憶體內。

🔗 延伸閱讀

• LM Studio 完整教學:不打指令,在本地跑 LLM
• 你的「AI PC」只是行銷騙局?NPU 真實算力揭密
• Whisper 本地語音轉文字教學:離線免上傳
• Windows 11 25H2 解放 NPU:本地 AI 與 Ollama 最佳化

📚 參考資料來源

📖 第一級|廠商官方

• Apple Newsroom:Apple unleashes M5 — 2026-07-07 查證(153GB/s、Neural Accelerator、32GB 上限)
• Apple Newsroom:Apple debuts M5 Pro and M5 Max — 2026-07-07 查證(M5 Pro 64GB/307GB/s、M5 Max 128GB/614GB/s)
• Apple Newsroom:Apple introduces M4 Pro and M4 Max — 2026-07-07 查證(M4 120、M4 Pro 273、M4 Max 546GB/s)
• Apple MLX 官方文件(Unified Memory) — 2026-07-07 查證

📖 第二級|社群/第三方評測

• llama.cpp:Apple Silicon M 系列效能討論串 — 2026-07-07 查證(M4 Max token/秒 benchmark,第三方、非站長實機)
• macOS iogpu.wired_limit_mb 開發者社群實務筆記(GPU 記憶體上限調整;多來源綜合,標為社群)