Speculative Decoding 是什麼?用小模型幫大模型「猜下一個字」為什麼會更快
在自己電腦上跑本地 LLM,字總是一個一個慢慢冒出來?Speculative Decoding 的解法很反直覺:讓小模型先猜下一批字,再由大模型一次驗證。本文拆解草稿與驗證兩階段、為何加速卻不掉品質,並用 NVIDIA 與 LM Studio 官方實測說明草稿模型不是越大越好、主模型不夠大時幾乎沒賺頭,以及 llama.cpp 的實際參數怎麼設。
LM Studio
LM Studio 完整教學:不打指令,在 Windows 本地跑 LLM
想在自己的電腦離線跑 AI,又怕開命令列打指令?LM Studio 這款免費桌面程式,用圖形介面就能下載並執行開源大型語言模型:內建模型商店會幫你標好記憶體需求、點一下就能聊天,還能開相容 OpenAI 的本地 API、離線讀你的 PDF。本文帶你在 Windows 從安裝、挑模型、對話到進階應用一次走完,並說清楚它和 Ollama、ChatGPT 的取捨。