Speculative Decoding 是什麼?用小模型幫大模型「猜下一個字」為什麼會更快
在自己電腦上跑本地 LLM,字總是一個一個慢慢冒出來?Speculative Decoding 的解法很反直覺:讓小模型先猜下一批字,再由大模型一次驗證。本文拆解草稿與驗證兩階段、為何加速卻不掉品質,並用 NVIDIA 與 LM Studio 官方實測說明草稿模型不是越大越好、主模型不夠大時幾乎沒賺頭,以及 llama.cpp 的實際參數怎麼設。
本地 LLM
Flash Attention 是什麼?為什麼能讓大模型跑得更快、更省 VRAM
本地跑 LLM 時看到 Flash Attention 這個開關,到底該不該打開?站長把論文與各家原始碼翻過一輪,把中文圈最常弄反的三件事講清楚:它是演算法不是那個 pip 套件、它省的不是模型權重也不是 KV cache、它是 exact 不是近似所以不會讓模型變笨。內含 llama.cpp 與 Ollama 的實際參數、四代版本差異對照,以及消費級顯卡到底吃不吃得到的完整說明。
Intel Arc B580 本地 AI 划算嗎?12GB VRAM 台灣 NT$8,990,但軟體要付代價
Intel Arc B580 用 NT$8,990 給你 12GB VRAM,而只有 8GB 的 NVIDIA 卡在同通路反而貴六到八成——但這篇不只算硬體帳。站長把 2026 年 8 月的軟體實況攤開:Intel 自家的 ipex-llm 已封存唯讀,接棒的 llm-scaler 對消費級單卡支援掛在 GitHub 沒人回。內含同通路同日四張卡價格對照、12GB 能跑多大模型,以及 PCIe 4.0 x8 陷阱。
NVIDIA DGX Spark 值不值得買?GB10 迷你 AI 主機全解析
NVIDIA DGX Spark 值不值得買?這台 GB10 迷你 AI 主機用 128GB 統一記憶體裝得下 200B 大模型,但 273GB/s 頻寬決定它是給開發者的原型機、不是速度怪獸。本文拆 GB10 晶片規格、能跑多大模型、跟自組顯卡 / Mac / AMD Strix Halo 怎麼比,並說清楚 3,999→4,699 美元的漲價與 RTX Spark 差別,告訴你該不該買。
本地 LLM 顯卡軟體生態:NVIDIA CUDA vs AMD ROCm vs Vulkan 怎麼選
買了顯卡卻發現本地 LLM 根本沒吃到 GPU?問題通常不在卡,而在軟體堆疊。本文交叉 AMD、Ollama、llama.cpp 三份官方文件,拆解 CUDA、ROCm、Vulkan 三條後端的真實支援邊界——包含 AMD 官方 ROCm 只認四個 Linux 發行版、RX 6000 消費卡整組不在支援表,以及同一張卡在 Windows 與 Linux 待遇不同的破口。看完你會知道該先選作業系統,還是先選卡。
開源模型怎麼選?一次搞懂 Llama、Qwen、DeepSeek 授權與量化規格
開源模型琳瑯滿目,但「開源」兩個字不能當商用保證——Llama、Qwen、DeepSeek、Gemma 授權條款差很大,GGUF、GPTQ、AWQ 量化格式也各有適用場景。這篇一次講清楚模型家族定位、授權能不能商用、量化格式該選哪個,還附簡化版 VRAM 估算公式,少踩一次授權或硬體規劃的雷。
Mac 跑本地 LLM 記憶體怎麼挑?Apple Silicon 統一記憶體與 M4/M5 選購全解析
想在 Mac 上跑本地 LLM,買機器前最該搞懂的不是 GPU 核心數,而是統一記憶體。本文從 Apple Silicon 的統一記憶體架構講起,拆解「容量決定塞得下、頻寬決定跑得快」的關鍵差異,完整對照 M4、M5、M5 Pro 與 M5 Max 的記憶體上限與頻寬,再附上 8B 到 70B 各級模型的記憶體需求對照與選購建議,幫你一次買對不後悔。
AMD Strix Halo 值不值得買?128GB 統一記憶體跑本地 LLM 的真相
AMD Strix Halo(Ryzen AI Max+ 395)靠 128GB 統一記憶體、最高 96GB 轉 VRAM,讓迷你 PC 第一次裝得下 70B 大模型。但站長提醒:256 GB/s 頻寬決定速度,「裝得下」不等於「跑得快」。本文拆規格、比 Mac 與獨立顯示卡,告訴你該不該買、64GB 還是 128GB。
LM Studio 完整教學:不打指令,在 Windows 本地跑 LLM
想在自己的電腦離線跑 AI,又怕開命令列打指令?LM Studio 這款免費桌面程式,用圖形介面就能下載並執行開源大型語言模型:內建模型商店會幫你標好記憶體需求、點一下就能聊天,還能開相容 OpenAI 的本地 API、離線讀你的 PDF。本文帶你在 Windows 從安裝、挑模型、對話到進階應用一次走完,並說清楚它和 Ollama、ChatGPT 的取捨。