把菜市場的吵雜丟給 Whisper：一次不太成功的字幕實測

先講結論，免得你讀到一半以為我要推銷什麼。這天下午我們坐在工作室，把一資料夾的田野錄音一個一個丟進 Whisper，看著轉出來的字幕稿，笑了很多次——有些是驚喜，更多是苦笑。M-05 這個模組現在還在開發中，這篇不是產品說明，是一份帶著懊惱的實測筆記。

我們手上有什麼素材

田野錄音不是錄音室。同一批檔案裡混了三種完全不同的聲音現場：

• **安靜的一對一訪談。**受訪者坐在自己家或店裡，背景大致乾淨，語速不快。
• **市場的移動側錄。**手機邊走邊錄，攤商叫賣、鐵勺敲鍋、遠處喇叭，人聲淹在環境音裡。
• **多人同時講話的閒聊。**兩三個人搶著接話，句子疊在一起，還常常講一半改口。

這三種現場對辨識引擎是三種難度。我們原本天真地以為差別只是「吵一點」跟「安靜一點」，實測之後才知道，真正的門檻不在噪音，在語言。

安靜訪談：大致堪用，但你不能不看

先說好消息。第一種素材——安靜、單人、語速正常的華語訪談——Whisper 的表現大致堪用。段落斷句合理，大部分句子聽寫正確，時間軸對得上嘴型。這種稿子拿到手，不是「重做」，是「修改」，這中間的差別對後製來說是天壤之別。

但「堪用」不等於「可以不看」。它會很自信地把聽不清楚的詞補成一個發音接近、意思完全不對的詞，而且標點打得順、句子讀起來通順，你一不注意就放過去了。這是自動字幕最危險的地方：它錯得很有禮貌。所以就算是最順的這一批，人工查核那一關一秒都省不掉。這也正好是我們六段工作流裡「人工查核」為什麼永遠排在「AI 結構化」後面——機器負責把量做出來，對不對永遠是人說了算。

市場側錄：幾乎全錯，我們直接放棄

第二種素材是這天最大的挫敗。市場的移動側錄，轉出來的稿子幾乎全錯。不是錯幾個字，是整段整段對不上，引擎在環境音裡硬要「聽出」句子，結果生出一堆根本沒人講過的話。有一段攤商其實只是喊了句招呼，字幕稿卻寫成一整句文法完整、內容離譜的句子。

我們試了幾個設定想搶救：

• 指定語言，不讓它自己猜，略有幫助但救不了大局。
• 事後降噪再進引擎，有一點改善，但降噪也把人聲的高頻一起削掉，聽感更糊。
• 切短片段逐段處理，能減少「整段崩掉」的連鎖，但市場那批的底噪太滿，切了也沒用。

最後我們做了一個很不 AI 的決定：市場側錄這一類，直接放棄自動字幕，改人工聽打。這不是認輸，是誠實。一份九成要重打的稿子，比一張白紙更浪費時間——你得先花力氣讀懂機器的胡言亂語，再花力氣把它刪掉。

真正的魔王：台語華語混在一句話裡

如果只是吵，問題還單純。這批田野錄音最台灣、也最難的地方在於——受訪者常常一句話裡台語華語來回切換。前半句華語，講到一個只有台語有的詞就自然轉過去，講完再切回來。

這種混講，對目前的辨識流程幾乎是無解。引擎被設定成聽某一種語言，遇到中途切換就開始亂：要嘛把台語詞硬套成發音相近的華語字，要嘛整句節奏崩掉。我們試過把語言參數放寬，結果是它兩種都聽不好，錯得更平均而已。

這件事讓我們想清楚一個定位。M-05 現階段能幫上忙的，是「乾淨、單一語言、單人」的素材——把最枯燥的第一版聽打做掉，讓人省下從零開始的力氣。至於混講、多人、重噪音的現場，現在的老實答案是：機器先別碰，人來。地方的聲音本來就不是為了讓機器好懂而存在的，這是它珍貴的原因，也是它難的原因。

這次留下什麼

• 自動字幕不是「能不能用」的是非題，是「哪種素材能用」的分類題。分類做對了，它省你時間；分類做錯了，它偷你時間。
• 最省事的一批（安靜單人華語）也不能免掉人工查核，因為它錯得太通順。
• 台語華語混講是我們接下來最想解、但短期內最不敢承諾的一塊。M-04 多語轉譯那邊的進度，可能得先過來支援這裡。

這天沒有做出一個能交付的工具，只做出一張更清楚的地圖：知道哪裡走得通，哪裡是沼澤。對還在開發中的模組來說，這已經是不錯的一天了。