Whisper 語音轉文字教學:本地離線、免上傳雲端

⚡ 站長快讀:核心重點

文章屬性:教學實戰(AI 語音轉文字 / 逐字稿)
適用系統:Windows 10/11、macOS、Linux
難易度:入門(Buzz 圖形介面)/ 進階(faster-whisper 指令),需下載模型一次
核心結論:用 Whisper 在自己電腦把音訊轉文字,免費、離線、不上傳雲端
適用對象:要把會議、訪談、YouTube、Podcast 轉成逐字稿或字幕的人

📌 快速答案

一句話答案:Whisper 語音轉文字,就是把 OpenAI 開源的語音辨識模型下載到自己電腦執行——新手用 Buzz 圖形介面拖檔即轉,進階用 faster-whisper 指令批次處理,全程離線、免上傳、還能匯出 SRT 字幕。

🧰 開始前的準備

系統需求:Windows 10/11、macOS 或 Linux 皆可;Buzz 的 PyPI 版建議 Python 3.12,faster-whisper 需 Python 3.9 以上。
硬體:沒有獨立顯示卡也能跑(用 CPU + 小模型),但有 NVIDIA 顯示卡會快很多(需 CUDA 12 + cuDNN 9)。
需要工具:二選一即可——Buzz(圖形介面,新手推薦)或 faster-whisper(指令,進階)。
要先下載模型:第一次執行會自動下載 Whisper 模型檔(需連網一次),之後就能完全離線使用。
預計耗時:安裝約 10 分鐘;轉錄時間依模型大小、音檔長度與硬體而定。

🔍 為什麼要「本地」語音轉文字?

先講結論:如果你的音檔牽涉隱私(會議、訪談、醫療、法律),或檔案很長、量很大,把語音辨識放在自己電腦跑,會比雲端服務更安心也更省。 雲端逐字稿服務多半要上傳整段錄音、有時數/檔案大小限制,免費額度用完就要付費;本地方案則是一次安裝、之後音檔完全不出你的電腦。

Whisper 是 OpenAI 開源(MIT 授權)的通用語音辨識模型,能做多語言辨識、翻譯與語言判別。它本身是「模型 + 指令」,對非工程師不太友善,所以社群做了一堆好用的外殼,其中最適合一般人的就是圖形介面 App Buzz,進階自動化則常用 faster-whisper。

要注意,這跟 Windows 內建的兩個功能定位不同:Win + H 語音輸入適合你「一邊講、一邊即時打字」;即時字幕(Live Captions)適合「看影片、開會時即時在螢幕上顯示字幕」(這部分可看站長寫的 Windows 11 即時字幕教學)。而本文談的是把現成的音檔或影片,轉成一份可以編輯、可匯出的逐字稿或字幕檔——這正是 Whisper 的強項。

🧭 Whisper 是什麼、模型怎麼選

Whisper 提供多個大小不同的模型,愈大愈準、但愈吃資源、愈慢。以下是 OpenAI 官方列出的模型與其約略需求(VRAM 與相對速度為官方數據,速度是在 A100 顯示卡上以英語測得,實際依語言與硬體差異很大):

模型	參數量	約需 VRAM	相對速度	適合場景
`tiny`	39M	~1 GB	~10x	只求快、可接受較低準確度
`base`	74M	~1 GB	~7x	輕量測試
`small`	244M	~2 GB	~4x	中文入門建議起跳
`medium`	769M	~5 GB	~2x	準確度與速度平衡
`large`(large-v3)	1550M	~10 GB	1x	最高準確度
`turbo`	809M	~6 GB	~8x	large-v3 的最佳化版,又快又準

幾個重點:

英語專用版(tiny.en、base.en 等)在純英語內容上表現更好;中文請用不帶 .en 的多語版。
turbo 是官方對 large-v3 做的最佳化版本,速度接近 base、準確度只有極小幅下降——但官方明講 turbo 不適合做「翻譯成英文」任務,要翻譯請用 medium 或 large。
沒有獨顯的人別怕:上表 VRAM 是用 GPU 跑的參考,用 CPU 一樣能跑,搭配 faster-whisper 的 int8 量化,small 模型在一般電腦上也有可用的速度(見下方效能段)。

🛠️ 實戰路徑一:Buzz 圖形介面(新手推薦)

Buzz 官方一句話定位是「在你個人電腦上離線轉錄與翻譯音訊」,底層就是 Whisper,支援 Windows / macOS / Linux,完全免費(MIT 授權)。

步驟一:下載安裝

Windows:到官方提供的 SourceForge(buzz-captions 專案)下載安裝檔。官方說明這個 App 未經簽章,安裝時 Windows 會跳警告,選 「More info(更多資訊)」→「Run anyway(仍要執行)」 即可。
macOS:到同一個 SourceForge 頁面下載 .dmg。
Linux:用 Flatpak(flatpak install flathub io.github.chidiwilliams.Buzz)或 Snap(sudo snap install buzz)。
想用 Python 裝也行:先 pip install buzz-captions,裝好後用 Python 執行 buzz 模組即可啟動(官方建議 Python 3.12 環境,並先裝好 ffmpeg)。

步驟二:選檔、選模型、選語言

打開 Buzz 後,匯入音訊或影片檔,或直接貼上 YouTube 連結。接著在設定裡選三件事:Whisper 後端與模型大小(中文建議 small 以上)、語言(選 Chinese)、以及任務是「轉錄(Transcribe)」還是「翻成英文(Translate)」。

💡 為什麼要先選語言? 讓模型知道語言可以少一步自動偵測、也更穩;混語內容再考慮讓它自動判別。

步驟三:開始轉錄、檢視與匯出

按下開始後等它跑完,Buzz 內建的逐字稿檢視器能搜尋、播放對照、調整播放速度,方便你邊聽邊校稿。滿意後匯出成 TXT、SRT 或 VTT(SRT/VTT 就是可以直接掛到影片上的字幕檔)。

Buzz 還有幾個實用功能:即時麥克風轉錄(適合演講/會議現場)、Watch folder 自動轉錄丟進資料夾的新檔案、以及命令列介面(CLI)方便寫成腳本。

⌨️ 實戰路徑二:faster-whisper 指令(進階、批次、自動化)

如果你要批次處理大量檔案、串進自己的自動化流程,faster-whisper 更合適。它用 CTranslate2 重寫 Whisper,官方說法是「在相同準確度下,比 openai/whisper 最高快 4 倍、記憶體更省」,還能用 8-bit(int8)量化再省資源。

一個額外好處:faster-whisper 不需要另外安裝 ffmpeg(它用 PyAV 內建的 FFmpeg 函式庫解碼),對 Windows 使用者省一個麻煩。

安裝

pip install faster-whisper

基本用法(CPU、int8,適合沒有獨顯的人)

from faster_whisper import WhisperModel

# CPU + int8:一般電腦就能跑,記憶體佔用低
model = WhisperModel("small", device="cpu", compute_type="int8")

# language 指定 zh(中文);beam_size=5 是官方預設值
segments, info = model.transcribe("meeting.mp3", beam_size=5, language="zh")

print("偵測語言:%s(信心 %.2f)" % (info.language, info.language_probability))
for seg in segments:
    print("[%.2fs -> %.2fs] %s" % (seg.start, seg.end, seg.text))

💡 注意:segments 是一個 generator(產生器),你要用 for 迴圈或 list() 去迭代它,轉錄才會真正開始執行——這是官方特別提醒的雷點。

有 NVIDIA 顯示卡就開 GPU 加速

# 需先裝好 CUDA 12 + cuDNN 9
model = WhisperModel("large-v3", device="cuda", compute_type="float16")

其他好用選項(依官方文件):vad_filter=True 用內建 Silero VAD 濾掉靜音段、word_timestamps=True 產生逐字時間戳、以及 BatchedInferencePipeline 做批次加速。

只想要「像官方指令那樣」用而不寫程式?可以改裝官方 CLI:pip install -U openai-whisper(需先裝 ffmpeg),再 whisper audio.mp3 --model small --language Chinese。完全不想碰 Python 的人,可看 whisper.cpp(C/C++ 版,輕量、跨平台)。

🈶 中文辨識與校對:別忽略的細節

Whisper 官方支援中文(華語),但實務上有幾個需要心裡有數的地方:

模型別選太小:tiny、base 中文準確度明顯較弱,建議 small 起跳,追求品質用 large-v3 或 turbo。
簡繁與標點要校對:有使用者回報,Whisper 轉華語時可能輸出簡體字或標點、專有名詞不到位。這屬於社群普遍經驗,尚無法保證每個模型每次都一致;實務做法是轉完後用 OpenCC 之類工具把簡體轉繁體,再人工校一次專有名詞與斷句。
口音與雜訊:背景雜音、口音重、多人交談會拉低準確度;Buzz 也提供轉錄前的語音分離、講者辨識等功能可以幫忙。

一句話:Whisper 給你一份「八九成可用」的草稿,省下大量聽打時間,但正式用途仍要人工校對——別把它當成 100% 正確。

📊 效能與硬體:大概要跑多久?

先講清楚:以下數字是官方公布的 benchmark,測試機不是站長的電腦,只能當相對參考,你的實際速度依硬體而異。

根據 faster-whisper 官方的 CPU 測試(small 模型、Intel Core i7-12700K、8 執行緒、一段 13 分鐘音訊):

原版 openai/whisper(fp32):約 6 分 58 秒,記憶體約 2335 MB
faster-whisper(int8):約 1 分 42 秒,記憶體約 1477 MB

換句話說,同樣一段 13 分鐘音訊,faster-whisper 的 int8 模式在純 CPU 上大約是原版的四分之一時間、記憶體也更省——這就是它適合一般沒有獨顯電腦的原因。

如果有 NVIDIA 顯示卡,差距更大:官方在 RTX 3070 Ti(8GB)上跑 large-v2、同樣 13 分鐘音訊,faster-whisper int8 約 59 秒完成。要開 GPU 加速,記得裝對應的 CUDA 12 + cuDNN 9(舊版 CUDA 需要降 ctranslate2 版本,官方文件有說明)。

選型心法:隱私敏感或長檔案 → 本地跑;沒獨顯 → faster-whisper + int8 + small;有獨顯又要品質 → large-v3 或 turbo 開 GPU。

❓ 常見問題

Q:一定要連網嗎?可以完全離線用嗎?

只有第一次要下載模型檔需要連網,下載完成後就能完全離線轉錄,音檔不會離開你的電腦——這正是本地方案的隱私優勢。

Q:中文準不準?要選哪個模型?

small 以上比較穩,large-v3 / turbo 最佳。但華語常見簡繁、標點、專有名詞要校對,建議轉完再人工順一次稿。

Q:沒有獨立顯示卡跑得動嗎?

可以。用 faster-whisper 的 device="cpu" + compute_type="int8" + small 模型,一般文書機也能跑;檔案很長就多等一會兒。

Q:跟 Windows 內建的語音輸入、即時字幕差在哪?

內建的 Win + H(語音輸入)和即時字幕適合「即時、短句」;Whisper 適合把現成音檔/影片整段轉成逐字稿與字幕檔,而且能選大模型換取更高準確度。同屬內建 AI 的 Windows Copilot 也能聽你說話,但同樣偏即時互動,不是拿來批次轉長檔。

Q:可以轉 YouTube 影片嗎?

Buzz 支援直接貼 YouTube 連結轉錄;或先把影片的音訊下載下來,再丟給 Buzz / faster-whisper。

💡 總結:站長的選型建議

站長我的看法是:2026 年要在自己電腦做語音轉文字,Whisper 幾乎是免費方案裡的預設答案,分兩條路走就對了——完全不想碰指令的人用 Buzz,點一點、拖個檔、匯出字幕;要自動化、批次跑的人用 faster-whisper 寫幾行 Python。

幾個提醒(本文指令與模型規格為 2026-07 對官方文件查證版本,faster-whisper 當前為 1.2.1、Whisper 提供 turbo 最佳化模型):第一,第一次要下載模型,別在沒網路的高鐵上才想裝;第二,中文一定要校對簡繁與專有名詞,把它當草稿產生器而非最終稿;第三,GPU 加速要對上 CUDA / cuDNN 版本,裝錯只會退回 CPU。轉好的逐字稿,還可以再丟進像 NotebookLM 這類工具整理成筆記或問答,讓一段錄音發揮更大價值。

隱私、免費、離線、可批次——這四點就是本地 Whisper 打贏多數雲端逐字稿服務的地方。花十分鐘裝起來,之後每一次轉錄都是淨賺。

🔗 延伸閱讀

📎 參考資料來源

📖 第一級|官方 / 開源專案:

OpenAI Whisper(GitHub 官方 README、模型表與授權) — 2026-07-06 查證
SYSTRAN / faster-whisper(GitHub 官方 README、效能 benchmark、用法) — 2026-07-06 查證
Buzz 官方(chidiwilliams/Buzz,GitHub 與說明文件) — 2026-07-06 查證

📖 第二級|補充:

faster-whisper on PyPI — 2026-07-06 查證(版本 1.2.1)

⚠️ 本文核心事實(模型規格、效能數字、安裝步驟)以第一級官方為準;效能 benchmark 為官方測試機數據,非站長實測,實際速度依你的硬體而異。

📅 本文查證戳記:2026-07-06 依 OpenAI Whisper / faster-whisper / Buzz 官方文件撰寫。
若你在後續版本遇到步驟失效,歡迎在留言區回報,站長會更新文章。