記憶體頻寬

在本地端跑 LLM,決定生成速度的常常不是顯示卡算力,而是記憶體頻寬。本文從自迴歸解碼機制講起,說明 token 速度為何約等於「頻寬 ÷ 模型大小」,並用 RTX 5090、Apple M5、Strix Halo 等官方頻寬數據對照,拆解模型溢出系統 RAM 的「頻寬懸崖」與統一記憶體「塞得下不等於跑得快」的取捨。