開源模型怎麼選?一次搞懂 Llama、Qwen、DeepSeek 授權與量化規格
開源模型琳瑯滿目,但「開源」兩個字不能當商用保證——Llama、Qwen、DeepSeek、Gemma 授權條款差很大,GGUF、GPTQ、AWQ 量化格式也各有適用場景。這篇一次講清楚模型家族定位、授權能不能商用、量化格式該選哪個,還附簡化版 VRAM 估算公式,少踩一次授權或硬體規劃的雷。
量化
為什麼本地 LLM 跑不快?真瓶頸是記憶體頻寬,不是顯卡算力
在本地端跑 LLM,決定生成速度的常常不是顯示卡算力,而是記憶體頻寬。本文從自迴歸解碼機制講起,說明 token 速度為何約等於「頻寬 ÷ 模型大小」,並用 RTX 5090、Apple M5、Strix Halo 等官方頻寬數據對照,拆解模型溢出系統 RAM 的「頻寬懸崖」與統一記憶體「塞得下不等於跑得快」的取捨。
本地 LLM 模型怎麼選?7B/70B、Q4/Q8 量化與 VRAM 一次搞懂
想在自己電腦跑 AI,卻被模型頁一堆 Q4、Q8、7B、70B 代號搞得霧煞煞?這篇從模型端把本地 LLM 的參數量與量化講清楚:Q4_K_M 的 K 和 M 是什麼、每 1B 參數大概吃多少 VRAM,教你一條估算記憶體的公式,並附 llama.cpp 官方檔案大小對照表與「幾 GB 顯示卡配什麼模型」決策表,不再點錯爆記憶體。