⚡ 站長快讀:核心重點
- 文章屬性:科技冷知識 / 規格解析(AI 模型能力)
- 核心結論:Gemini 代理式影片理解把「整部片一秒一張餵給模型」改成「模型自己決定要看哪幾段」,官方數據是 token 最多省 88%、成本最多降 66%,準確度反而最多提升 7%。
- 適用對象:用 Gemini API 處理長影片的開發者,以及想知道 AI 到底怎麼「看」影片的一般讀者
📌 快速答案
一句話答案:Gemini 代理式影片理解是讓模型依問題自行決定看哪一段、用多少幀率、看畫面還是聽逐字稿的處理模式,取代固定每秒抽一張的靜態作法。
🔍 故事的起點
先講一個違反直覺的現象:餵給 AI 的資料變少,答案反而變準。
Google 在 2026 年 9 月 1 日發表代理式影片理解(agentic video understanding)時公布的數字就是這樣——跨標準影片分析基準測試,token 消耗最多減少 88%、分析成本最多降低 66%,而準確度最多提升 7%。三個數字同時往好的方向走,這在效能取捨裡並不常見。
要理解為什麼,得先知道模型原本是怎麼「看」影片的。在此之前,Gemini 處理影片用的是官方稱為靜態處理的方式:把整部影片以固定幀率抽成一張張圖片,預設每秒一張(1 FPS),連同音訊一起塞進上下文,然後模型才開始回答。
這個作法對三十秒的短片沒問題。但如果你丟的是一場 90 分鐘的演講,模型會先吞下 5,400 張截圖,再去回答「講者在哪裡提到定價」這種只牽涉三十秒內容的問題。剩下 89 分半的畫面,全部都是為了找那三十秒而付的錢。
代理式影片理解要解決的就是這件事。
🧪 原理拆解
靜態處理:一秒一張,不管你問什麼
靜態模式的規則很單純,而且官方把計價口徑寫得很清楚:
影格部分,media_resolution 設為低時,每張影格算 66 個 token;其他情況每張算 258 個 token。音訊以每秒 32 個 token 計算,另外還包含中繼資料。官方給的換算結果是:預設的低媒體解析度下,每秒影片約 100 個 token;高媒體解析度下約 300 個 token。
拿這個口徑推一下就知道問題在哪。一場 90 分鐘的演講是 5,400 秒,在低解析度下大約要 54 萬個 token 才能進到上下文——而且是在模型還沒開始思考之前就先付掉。換成高解析度,數字要再乘以三。
官方在說明這件事時講得更直接:靜態處理在長影片上「逼開發者在高昂的 token 成本、與會丟失關鍵細節的技巧之間二選一」。你要嘛付全額,要嘛自己寫程式先切片、先降幀率,然後祈禱被丟掉的那些幀裡面沒有答案。
還有一個容易被忽略的限制:1 FPS 的取樣率,對快速動作或快速切換的畫面是會漏東西的。官方文件明說這個預設「可能會漏掉快速動作或快速場景切換的細節」。你想數一段影片裡某個動作重複了幾次,而那個動作每秒發生兩次——一秒一張,本來就數不準。
代理式處理:先看目錄,再決定翻哪一頁
代理式模式的差別,用查資料來比喻最清楚:靜態處理像是把整本書逐頁影印後才開始讀;代理式處理則是先翻目錄和索引,再決定要翻開哪幾頁、要不要看得更仔細。
官方的描述是:模型動態瀏覽影片的時間軸,依照提示選擇性地檢視逐字稿,並即時調整幀率與解析度。更具體地說,它把模型本身的推理能力,和 Gemini 原生的影片工具接在一起,讓模型主動決定三件事——看哪一段、用什麼速度看,以及透過哪一種模態看(畫面、音訊,還是逐字稿),只抓回答問題真正需要的片段和訊號。
這整件事跑在一個代理迴圈裡:模型呼叫內部工具載入影片的相關部分,看完再決定下一步。官方特別點出,這些事開發者以前也能手動做,但得自己寫切片與重取樣的邏輯;代理式模式把它收進模型內部,省掉的是開發成本。
這個過程在 API 回應裡是看得見的。代理式處理會在 steps 陣列裡多出兩種步驟:processing_call 代表模型請求某個影片片段或音訊逐字稿,processing_result 則是該次載入的結果,兩者以 call_id 對應。想確認自己到底有沒有跑在代理式模式,官方給的驗證方法就是檢查 interaction.steps 裡有沒有這兩種步驟。
為什麼能同時更省又更準
省 token 的道理不難懂:不載入的內容就不用付錢。真正值得說明的是為什麼準確度會跟著上升。
關鍵在於代理式模式能做靜態模式做不到的動作——回頭再看一次,而且看得更細。官方列出的四項能力都是這個性質:
- 次秒級片段檢索:抓出 1 FPS 下容易漏掉的瞬間狀態變化與緊湊的剪接點,讓自動化剪輯得以精準定位。
- 長片大海撈針:在數小時的影片裡回答複雜問題,而不必消耗數百萬個 token。
- 異常偵測:對可疑的時間窗以更高的幀率重新取樣,用來檢視快速動作與細微的視覺瑕疵。
- 動作與物件計數:準確追蹤重複的肢體動作與不同物件。
第三項是整個設計的核心。靜態模式的 1 FPS 是全片一視同仁的固定值——你可以把它調高,但那是整部片一起調高,代價是 token 跟著等比例上升。代理式模式則是只對值得看的那幾秒調高,其他地方維持低成本瀏覽。省下來的預算,反而換到了關鍵片段的解析度。
官方也說明了這些效率提升「在長影片上特別顯著」,並舉了從 10 分鐘的教學影片、到 90 分鐘的講座、再到數小時錄影的跨度。反過來說,對只有幾十秒的短片,差距本來就有限。
代理式模式的 token 怎麼算,官方的口徑和靜態模式不同:導航時產生的推理 token 算在思考 token(total_thought_tokens),按需載入的影格、音訊與逐字稿則算在工具使用 token(total_tool_use_tokens)。官方也明講,代理式模式的用量會隨內容複雜度與模型的導航策略而變動——88% 是長影片的最佳情況,不是每次都會拿到的固定折扣。
哪些模型能用、怎麼開、代價是什麼
發表當天支援的是 Gemini 3.7 Flash、3.6 Flash 與 3.5 Flash-Lite 三款。截至本文查證日(2026-09-17),官方 API 文件列出的支援清單已擴充為 Gemini 3.8 Flash、3.7 Flash、3.6 Flash、3.5 Flash Lite 四款——這是發表後的追加,不是兩份文件互相矛盾。想了解這幾款模型本身的差異,站內另有〈Gemini 3.7 Flash 是什麼?與 3.6 Flash 差在哪〉與〈Gemini 3.8 Flash 與 3.8 Flash Cyber 是什麼〉兩篇可以對照。
開啟方式簡單到有點反高潮:在 API 設定裡把 processing 設成 "agentic",就這樣。計價也維持原樣——使用標準的 Gemini API token 計價,不另收功能費。管道則是 Google AI Studio 的 Gemini API 與 Gemini Enterprise Agent Platform,支援自行上傳的影片與 YouTube 影片。
但有三個代價要先知道:
第一,短片會變慢。 官方明載,代理式導航在 5 分鐘以下的短片上可能略微增加第一個 token 的產出時間(TTFT),因為生成開始前得先做內部推理與工具往返。
第二,自訂裁切與自訂幀率只支援靜態模式。 用 start_offset/end_offset 指定區間、或用 fps 參數自訂取樣率,這些客製化選項官方註明「僅在以 "static" 模式處理影片時支援」。這其實合邏輯——代理式模式的重點就是幀率由模型自己決定,你手動指定就衝突了。
第三,無狀態多輪對話要自己把步驟帶回去。 用 previous_interaction_id 的有狀態模式沒問題,伺服器會保留影片脈絡;但用 step_list 的無狀態模式,你必須把回應中的所有步驟原封不動放進下一次請求——官方要求的是全部步驟,processing_call 與 processing_result 只是其中最關鍵的兩種。官方警告:漏掉目前不會回傳 API 錯誤,但影片脈絡會遺失,後續問題的回答品質顯著下降——這是會靜默失敗的那種坑。另外要注意,帶回去的步驟會計入輸入 token。
至於該選哪一個,官方的建議是先從代理式開始,尤其在乎回答品質或 token 效率時;只有兩種情況該留在靜態模式——5 分鐘以下短片的延遲敏感查詢,以及需要整段影片逐幀精度的場合。另外,同一個請求裡的不同影片可以各自指定模式,長講座走代理式、短實驗片段走靜態,是官方文件明列的用法。
💡 總結:冷知識延伸
站長我覺得這件事最有意思的地方,不在省了多少錢,而在它把「看影片」這個動作從一次性的輸入,變成了一連串有目的的決策。
以前模型跟影片的關係是被動的:給什麼看什麼,看完再想。現在是先知道要找什麼,再決定怎麼看——順序反過來了。這跟人類看影片的方式其實更接近:沒人會為了找一句話而把兩小時的影片從頭看到尾,大家都是拉時間軸、開字幕、跳著找。
另一個容易被忽略的細節是模態的選擇權。代理式模式可以決定「這段用聽的就夠了,不用看畫面」——官方的描述就是模型會選擇性地檢視逐字稿,並依提示決定要不要載入影格。對一場以口說為主的演講來說,少載入畫面本身就是省錢:靜態模式下低解析度每幀 66 個 token、高解析度每幀 258 個 token,這筆支出在代理式模式裡不是全片照付,而是模型判斷需要才付。
還有一個順帶的好處:processing_call 與 processing_result 這兩種步驟,官方明說可以拿來在你自己的介面上顯示處理進度軌跡,而且不需要回應。對要做使用者介面的人來說,這等於免費拿到一條「AI 正在看第 47 分鐘的畫面」的進度條。
❓ 常見問題
Q:代理式影片理解跟以前的影片處理,差別到底在哪一句話?
靜態處理是固定每秒抽一張圖,全片一視同仁;代理式處理是模型依問題自己決定看哪幾段、用什麼幀率、看畫面還是聽逐字稿。前者的成本隨影片長度線性增加,後者的成本隨問題複雜度變動。
Q:為什麼載入的內容變少,答案反而更準?
因為省下來的預算被花到刀口上。代理式模式可以對關鍵的幾秒用更高的幀率重新取樣,而靜態模式若要提高幀率必須整部片一起提高。加上不相關的內容不進上下文,模型也比較不會被雜訊干擾。官方給的數字是準確度最多提升 7%。
Q:哪些 Gemini 版本有這個功能?
發表時是 Gemini 3.7 Flash、3.6 Flash 與 3.5 Flash-Lite;截至 2026-09-17,官方 API 文件列出的是 Gemini 3.8 Flash、3.7 Flash、3.6 Flash 與 3.5 Flash Lite。要注意支援清單只涵蓋 Flash 與 Flash-Lite 系列。
Q:一般人用 Gemini App 感覺得到嗎?
目前還不行,但官方說會。發表文寫的是這項功能即將推送給 Gemini App 的所有使用者(涵蓋 Flash 與 Flash-Lite 模型),並且在未來數月會用於 YouTube 觀看頁的「Ask YouTube」功能,以更貼近畫面內容的方式回答問題。官方沒有公布確切日期,本文查證日也尚未見到全面推送的公告。
Q:影片長度與數量有沒有上限?
有,而且和處理模式是兩回事。官方文件載明:具備 100 萬 token 上下文的模型,預設可處理最長 3 小時的影片(低媒體解析度),高媒體解析度則為最長 1 小時。YouTube 影片方面,免費層每日上傳上限 8 小時,付費層不限長度;Gemini 2.5 以後的模型每次請求最多 10 部影片,且只能是公開影片。
🔗 延伸閱讀
- Gemini Canvas 完整教學:一句話生出網頁、測驗與資訊圖表
- Gemini Spark 教學:台灣開通條件、設定重複任務與教它新技能
- Google Chat Ask Gemini 教學:台灣帳戶為什麼看不到、側邊欄又去哪了
- Gemini Connected Apps 設定教學:台灣個人帳戶實際能連哪幾個
- NotebookLM 新功能全解析:改名 Gemini Notebook,影片總覽、PPTX 匯出與 10 種資訊圖表
📎 參考資料來源
📖 第一級|廠商官方:
- Introducing agentic video understanding with Gemini(Google, The Keyword) — 2026-09-17 查證(原文發表日 2026-09-01)
- Video understanding|Gemini API|Google AI for Developers — 2026-09-17 查證
- Video understanding|Gemini Enterprise Agent Platform(Google Cloud Documentation) — 2026-09-17 查證