Flash Attention 是什麼?為什麼能讓大模型跑得更快、更省 VRAM
本地跑 LLM 時看到 Flash Attention 這個開關,到底該不該打開?站長把論文與各家原始碼翻過一輪,把中文圈最常弄反的三件事講清楚:它是演算法不是那個 pip 套件、它省的不是模型權重也不是 KV cache、它是 exact 不是近似所以不會讓模型變笨。內含 llama.cpp 與 Ollama 的實際參數、四代版本差異對照,以及消費級顯卡到底吃不吃得到的完整說明。
VRAM
Intel Arc B580 本地 AI 划算嗎?12GB VRAM 台灣 NT$8,990,但軟體要付代價
Intel Arc B580 用 NT$8,990 給你 12GB VRAM,而只有 8GB 的 NVIDIA 卡在同通路反而貴六到八成——但這篇不只算硬體帳。站長把 2026 年 8 月的軟體實況攤開:Intel 自家的 ipex-llm 已封存唯讀,接棒的 llm-scaler 對消費級單卡支援掛在 GitHub 沒人回。內含同通路同日四張卡價格對照、12GB 能跑多大模型,以及 PCIe 4.0 x8 陷阱。
雙顯卡跑大模型值不值?PCIe 頻寬、模型切分與實務取捨
加第二張顯卡就能讓本地大模型跑更快?這個直覺只對一半。本文依 llama.cpp 與 vLLM 官方文件,拆解 pipeline 與 tensor 兩種切分模式的真正差別——關鍵不是 PCIe 一秒搬幾 GB,而是每產生一個 token 要跨卡同步幾次。文中整理三條配置路線的適用情境與淘汰條件,並說明為何沒有 NVLink 的消費級雙卡該選 pipeline。
本地 LLM 模型怎麼選?7B/70B、Q4/Q8 量化與 VRAM 一次搞懂
想在自己電腦跑 AI,卻被模型頁一堆 Q4、Q8、7B、70B 代號搞得霧煞煞?這篇從模型端把本地 LLM 的參數量與量化講清楚:Q4_K_M 的 K 和 M 是什麼、每 1B 參數大概吃多少 VRAM,教你一條估算記憶體的公式,並附 llama.cpp 官方檔案大小對照表與「幾 GB 顯示卡配什麼模型」決策表,不再點錯爆記憶體。