買了顯卡卻發現本地 LLM 根本沒吃到 GPU?問題通常不在卡,而在軟體堆疊。本文交叉 AMD、Ollama、llama.cpp 三份官方文件,拆解 CUDA、ROCm、Vulkan 三條後端的真實支援邊界——包含 AMD 官方 ROCm 只認四個 Linux 發行版、RX 6000 消費卡整組不在支援表,以及同一張卡在 Windows 與 Linux 待遇不同的破口。看完你會知道該先選作業系統,還是先選卡。
開源模型琳瑯滿目,但「開源」兩個字不能當商用保證——Llama、Qwen、DeepSeek、Gemma 授權條款差很大,GGUF、GPTQ、AWQ 量化格式也各有適用場景。這篇一次講清楚模型家族定位、授權能不能商用、量化格式該選哪個,還附簡化版 VRAM 估算公式,少踩一次授權或硬體規劃的雷。
2026 年開源大模型名字愈來愈怪,動不動就是 Qwen3-235B-A22B、DeepSeek-V3 671B/37B,為何要標兩個參數量?答案是 MoE(混合專家)。本文白話拆解最容易搞混的錯配:總參數決定要多少 VRAM 才裝得下,啟用參數才決定跑多快,並附 Mixtral、Qwen3、DeepSeek、gpt-oss 規格對照與 VRAM 估算,讓你選本地 LLM 硬體不再被名字騙。
想在 Mac 上跑本地 LLM,買機器前最該搞懂的不是 GPU 核心數,而是統一記憶體。本文從 Apple Silicon 的統一記憶體架構講起,拆解「容量決定塞得下、頻寬決定跑得快」的關鍵差異,完整對照 M4、M5、M5 Pro 與 M5 Max 的記憶體上限與頻寬,再附上 8B 到 70B 各級模型的記憶體需求對照與選購建議,幫你一次買對不後悔。
AMD Strix Halo(Ryzen AI Max+ 395)靠 128GB 統一記憶體、最高 96GB 轉 VRAM,讓迷你 PC 第一次裝得下 70B 大模型。但站長提醒:256 GB/s 頻寬決定速度,「裝得下」不等於「跑得快」。本文拆規格、比 Mac 與獨立顯示卡,告訴你該不該買、64GB 還是 128GB。
在本地端跑 LLM,決定生成速度的常常不是顯示卡算力,而是記憶體頻寬。本文從自迴歸解碼機制講起,說明 token 速度為何約等於「頻寬 ÷ 模型大小」,並用 RTX 5090、Apple M5、Strix Halo 等官方頻寬數據對照,拆解模型溢出系統 RAM 的「頻寬懸崖」與統一記憶體「塞得下不等於跑得快」的取捨。
想在自己電腦跑 AI,卻被模型頁一堆 Q4、Q8、7B、70B 代號搞得霧煞煞?這篇從模型端把本地 LLM 的參數量與量化講清楚:Q4_K_M 的 K 和 M 是什麼、每 1B 參數大概吃多少 VRAM,教你一條估算記憶體的公式,並附 llama.cpp 官方檔案大小對照表與「幾 GB 顯示卡配什麼模型」決策表,不再點錯爆記憶體。