Voice Field Interface

研究問題

一段口述訪談，在硬碟裡的樣子往往是一個叫 REC_0034.wav 的檔案，長四十七分鐘，沒有任何內部座標。你知道受訪者在裡面講過某座舊橋改建前的模樣，但要找到那三十秒，只能從頭拖曳、憑記憶猜位置。聲音是所有田野素材裡最難被檢索的一種——照片有縮圖、文字可全文搜尋，唯獨錄音是一條不透明的黑帶，必須線性地聽完才知道裡面有什麼。

這對地方研究是實際的損失。《艷世紀》累積的訪談錄音，價值不在「錄過」，而在「找得到、指得出、引得動」。一段講述若無法被定位到秒、無法被關鍵詞喚出、無法被擷取成一段可嵌入網頁的片段，它在資料庫裡幾乎等於不存在。本研究線要處理的，就是這條從「聲音」到「可被使用的聲音」之間的斷裂。

方法與系統構想

系統的核心是一條四層對位的時間軸，四層共用同一個時間座標：

• 聲波層：錄音的振幅波形，提供視覺定位的地形——靜默、爆音、語速的疏密一眼可辨。
• 逐字稿層：語音辨識輸出的文字，每一句帶有起訖時間戳，與波形嚴格對齊。點一句文字，播放頭跳到該秒；拖曳播放頭，對應的句子同步高亮。
• 關鍵詞節點層：從逐字稿抽取的地名、人名、事件詞，標記為時間軸上的可點節點，作為快速跳轉與跨檔檢索的入口。
• 輸出層：任一時間區間可匯出為對齊字幕(SRT/VTT)，或擷取成一段帶稿的聲音片段，供網頁與展場再製使用。

語音辨識採 Whisper 產生第一版逐字稿與時間戳。這裡沿用 YENZ XYZ 六段工作流「AI 結構化 → 人工查核」的分工：機器把量做出來——把四十七分鐘壓成一份可讀、可搜、可跳轉的草稿；對錯則交回人手，尤其是辨識最容易失手的地方(下詳)。整條介面以 Astro 靜態框架與 Cloudflare 邊緣部署為底，時間軸互動與波形繪製走瀏覽器端；資料層維持結構化 JSON，與既有的事件時間軸引擎共用同一種「一份資料、多種再製」的邏輯，不為單一畫面綁死底層。

相關研究與參照

1. Radford et al., 2022 — Whisper, robust speech recognition, OpenAI。本研究線的語音轉文字與時間戳直接建立在此模型之上；它對乾淨語音的穩健表現，正是「機器產草稿、人工定對錯」分工得以成立的技術前提。
2. Shneiderman, 1996 — The Eyes Have It: visual information seeking mantra, IEEE。「先總覽，再縮放與篩選，最後看細節」是四層時間軸的介面骨架：波形給總覽，關鍵詞節點負責篩選與跳轉，逐字稿與播放頭落到單句細節。
3. Bostock et al., 2011 — D3: Data-Driven Documents, IEEE InfoVis。波形與時間軸節點是資料驅動的視覺映射；D3 所確立的「資料綁定 DOM」思路，是這類瀏覽器端時間軸視覺化的方法參照。
4. Drucker, 2014 — Graphesis: Visual Forms of Knowledge Production, Harvard UP。提醒我們逐字稿與波形都是「經過詮釋的呈現」而非中性事實——辨識稿的每一次高亮都是一種知識再製，這支撐了系統為何必須在介面上留出人工查核與校對的位置。

目前進度

狀態為 prototype，誠實區分「已可運作」與「尚未解決」兩部分。

已可運作的實驗：Whisper 管線已實測。在安靜、單人、語速正常的華語訪談上，轉出的逐字稿與時間戳大致堪用——斷句合理、多數句子正確、時間軸對得上，產出的是「可修改的草稿」而非「得重做的白紙」。這一段已能支撐時間軸的文字對位。

尚未解決的邊界(對應實驗日誌的實測紀錄)：其一，市場等重環境音的移動側錄，辨識幾乎全錯，引擎會在噪音中「聽出」根本沒人講過的完整句子，這類素材目前直接改人工聽打。其二，也是最難的一塊——受訪者在一句話裡台語、華語來回切換，現行流程被設定聽單一語言，遇切換就崩，放寬語言參數只會讓兩種都聽不好。因此逐字稿層必須預設「機器會很有禮貌地錯」，人工查核一秒不能省。至於互動時間軸介面本身，四層對位的資料結構已規劃，聲波層與逐字稿層的對齊為當前開發中的重點，關鍵詞節點與輸出層仍在構想階段。

下一步

• 完成兩層對位的最小可用介面：以一段已通過人工查核的安靜訪談為樣本，實作聲波層與逐字稿層的雙向對位(點稿跳播放頭、拖播放頭高亮句子)，作為第一個可驗證的互動原型。
• 建立關鍵詞節點的抽取與標記：先以人工整理的地名、人名清單為對照，驗證節點跳轉與跨檔檢索的介面是否真的省時，再談自動抽取。
• 驗證字幕輸出的往返一致性：確認任一時間區間匯出 SRT/VTT 後，時間戳與原稿仍嚴格對齊，讓輸出層可被下游的影像後製直接採用。
• 記錄混講失誤的模式：把台語華語混講的辨識錯誤逐筆記下，累積成可回頭修正流程的錯誤地圖；多語轉譯的進展一旦成熟，優先回來支援這條研究線最難的邊界。