本地端 AI

想在自己電腦跑 AI,卻被模型頁一堆 Q4、Q8、7B、70B 代號搞得霧煞煞?這篇從模型端把本地 LLM 的參數量與量化講清楚:Q4_K_M 的 K 和 M 是什麼、每 1B 參數大概吃多少 VRAM,教你一條估算記憶體的公式,並附 llama.cpp 官方檔案大小對照表與「幾 GB 顯示卡配什麼模型」決策表,不再點錯爆記憶體。