AI 的 Temperature 是什麼?調成 0 就真的不會亂回答嗎
AI 的 temperature 滑桿到底在調什麼?這篇用官方文件講清楚:它縮放的是挑下一個字的機率分布,跟答案正不正確無關。也拆解為什麼 Anthropic 明寫「temperature 0.0 仍不完全確定」、批次不變性如何讓同一個提示詞跑出 80 種結果,以及 top-p 為何官方要你二擇一調、推理模型為何乾脆不給你這個參數。
AI 硬體
模型蒸餾 Distillation 是什麼?小模型怎麼跟大模型「偷學功夫」
看到 DistilBERT、DeepSeek-R1-Distill 就以為是「原模型的縮小版」?其實蒸餾是一種訓練方法,學的是老師對每個選項的信心比例,不是正確答案本身。本文從軟標籤、溫度 T 講到大語言模型時代的序列蒸餾與 GKD,並用官方模型卡拆穿一個常見誤會:R1-Distill 的骨架其實是 Qwen 和 Llama。順帶釐清蒸餾、量化、剪枝的差別,以及 2026 年的蒸餾合規爭議。
LoRA 微調是什麼?QLoRA 不用重新訓練整個模型也能改造 AI 的原理
看到 LoRA、QLoRA、adapter 就頭大?本文把低秩微調的原理一次講清楚:為什麼兩個小矩陣就能代表整個權重變化、為什麼 B 矩陣要初始化為零、lora_alpha 跟 r 為什麼必須一起調。QLoRA 的 NF4、雙重量化與分頁最佳化器分別省在哪一段也逐項拆解,並整理官方公布的 VRAM 門檻數字,以及自行換算與官方實測之間該留多少餘裕。
Speculative Decoding 是什麼?用小模型幫大模型「猜下一個字」為什麼會更快
在自己電腦上跑本地 LLM,字總是一個一個慢慢冒出來?Speculative Decoding 的解法很反直覺:讓小模型先猜下一批字,再由大模型一次驗證。本文拆解草稿與驗證兩階段、為何加速卻不掉品質,並用 NVIDIA 與 LM Studio 官方實測說明草稿模型不是越大越好、主模型不夠大時幾乎沒賺頭,以及 llama.cpp 的實際參數怎麼設。
Flash Attention 是什麼?為什麼能讓大模型跑得更快、更省 VRAM
本地跑 LLM 時看到 Flash Attention 這個開關,到底該不該打開?站長把論文與各家原始碼翻過一輪,把中文圈最常弄反的三件事講清楚:它是演算法不是那個 pip 套件、它省的不是模型權重也不是 KV cache、它是 exact 不是近似所以不會讓模型變笨。內含 llama.cpp 與 Ollama 的實際參數、四代版本差異對照,以及消費級顯卡到底吃不吃得到的完整說明。
Intel Arc B580 本地 AI 划算嗎?12GB VRAM 台灣 NT$8,990,但軟體要付代價
Intel Arc B580 用 NT$8,990 給你 12GB VRAM,而只有 8GB 的 NVIDIA 卡在同通路反而貴六到八成——但這篇不只算硬體帳。站長把 2026 年 8 月的軟體實況攤開:Intel 自家的 ipex-llm 已封存唯讀,接棒的 llm-scaler 對消費級單卡支援掛在 GitHub 沒人回。內含同通路同日四張卡價格對照、12GB 能跑多大模型,以及 PCIe 4.0 x8 陷阱。
2026 AI PC 筆電晶片怎麼選:Snapdragon X2 Elite vs Intel Panther Lake vs AMD Ryzen AI Max+ 395
2026 年三大 AI PC 筆電平台同時換代,80 TOPS、180 TOPS、126 TOPS 的量測口徑根本不一樣。本文把三顆晶片的 NPU 算力、記憶體頻寬與台灣售價攤開比一次,告訴你為什麼決定本地 AI 體感的是頻寬而非 TOPS、同平台不同 SKU 落差多大,以及不同需求該選哪一顆。
NVIDIA RTX Spark 是什麼?跟 DGX Spark 差在哪一次看懂
NVIDIA 在 2026 年 5 月 31 日發表 RTX Spark,名字只和 DGX Spark 差兩個字母,規格表卻幾乎一模一樣:同樣 20 核 Grace CPU、同樣 1 PFLOP FP4、同樣 128GB 統一記憶體。那到底差在哪?本文逐欄拆解兩顆 Grace Blackwell 晶片,把差別收斂到作業系統、機身形式與目標使用者三件事,並說清楚哪些數字是官方講的、哪些還沒公布。
雙顯卡跑大模型值不值?PCIe 頻寬、模型切分與實務取捨
加第二張顯卡就能讓本地大模型跑更快?這個直覺只對一半。本文依 llama.cpp 與 vLLM 官方文件,拆解 pipeline 與 tensor 兩種切分模式的真正差別——關鍵不是 PCIe 一秒搬幾 GB,而是每產生一個 token 要跨卡同步幾次。文中整理三條配置路線的適用情境與淘汰條件,並說明為何沒有 NVLink 的消費級雙卡該選 pipeline。
NVIDIA DGX Spark 值不值得買?GB10 迷你 AI 主機全解析
NVIDIA DGX Spark 值不值得買?這台 GB10 迷你 AI 主機用 128GB 統一記憶體裝得下 200B 大模型,但 273GB/s 頻寬決定它是給開發者的原型機、不是速度怪獸。本文拆 GB10 晶片規格、能跑多大模型、跟自組顯卡 / Mac / AMD Strix Halo 怎麼比,並說清楚 3,999→4,699 美元的漲價與 RTX Spark 差別,告訴你該不該買。