Attention Mechanism(注意力機制)是什麼?AI 怎麼決定該「注意」哪些字才看得懂上下文
大家都聽過 AI 會「注意」上下文,但它到底怎麼決定要注意哪個字?本文拆解 Query、Key、Value 三個角色其實只是在做一次查表加權平均,說明為什麼要除以根號 d_k、8 個頭各自在看什麼,並用論文原始的複雜度對照表講清楚 O(n²) 為何是你今天在付的帳單,以及 Flash Attention、GQA、MoE 三條路線各砍哪一刀。
注意力機制
大家都聽過 AI 會「注意」上下文,但它到底怎麼決定要注意哪個字?本文拆解 Query、Key、Value 三個角色其實只是在做一次查表加權平均,說明為什麼要除以根號 d_k、8 個頭各自在看什麼,並用論文原始的複雜度對照表講清楚 O(n²) 為何是你今天在付的帳單,以及 Flash Attention、GQA、MoE 三條路線各砍哪一刀。