Semantic Field Atlas
A semantic star-map interface for exploring cultural field notes
本研究線把《艷世紀》累積的田野照片、筆記、地名、人物與史料轉為 embeddings,以互動星圖呈現內容之間的語意距離:相近者聚為星群,可在主題、地理、時間三種關係視圖間切換。目標是讓地方研究的隱性關聯成為可被瀏覽、可被質疑的視覺結構。
研究問題
一份地方田野的資料常以資料夾與日期為序:某條巷弄的攝影、某位受訪者的錄音、某段史料的抄錄,各自靜置在檔案樹的不同分支。但田野工作者心裡清楚,真正的關聯往往橫跨這些分支——同一種市場攤位的空間邏輯,可能同時出現在三個不同年份、兩個不同地區的筆記裡;一個地名的沿革,可能牽動一組看似無關的人物。這些關聯目前只存在於研究者的記憶與直覺中,無法被瀏覽,也無法被他人檢驗。
我們想問的是:能不能讓語意上的鄰近關係,成為一種可以被看見、被走動、被質疑的空間結構?當田野素材以「語意距離」而非「檔案路徑」重新排列時,研究者會發現哪些原本被資料夾切斷的線索?
方法與系統構想
系統把《艷世紀》的多模態素材(文字筆記、照片說明、地名與人物條目、史料段落)分別轉為向量表示:文字走 text embeddings,影像走對應的視覺 embeddings,存入向量資料庫作為可查詢的語意索引。高維向量本身無法直接觀看,因此以 UMAP 進行降維,把語意鄰近關係投影到三維座標,再交由 Three.js 的 Points(GPU 點雲)渲染——每一顆點是一則素材,聚成星群者即語意相近者。
互動層設計三種可切換的關係視圖:主題視圖依 embedding 的語意聚類排布,地理視圖以地名座標為主軸,時間視圖以田野採集或史料年份為軸。滑鼠靠近某點時浮出該素材的摘要卡片,作為從「整體結構」下探到「單一條目」的中介。整體遵循 Shneiderman 的 overview first, zoom and filter, details on demand 節奏,讓研究者先看見星圖的整體形狀,再逐步聚焦。此設計屬於 YENZ XYZ 六段工作流中的「數位轉譯」環節,上承 AI 結構化的向量索引,下接可對外展示的多格式再製。
相關研究與參照
- Mikolov et al., 2013 — word2vec, distributed representations of words。奠定以向量距離表達語意關係的基礎,是本研究線把田野文本轉為可計算語意的前提。
- McInnes et al., 2018 — UMAP, arXiv。我們用於把高維 embeddings 投影到可觀看的三維座標,其保留局部鄰近結構的特性,對「星群」的成形至關重要。
- van der Maaten & Hinton, 2008 — t-SNE, JMLR。作為 UMAP 之前的降維參照,用來對照聚類結果的穩定性,協助判斷少量資料下的視覺可信度。
- Shneiderman, 1996 — The Eyes Have It: visual information seeking mantra, IEEE。其資訊尋覽節奏直接對應本系統從星圖總覽下探到單則摘要的互動設計。
- Drucker, 2014 — Graphesis: Visual Forms of Knowledge Production, Harvard UP。提醒我們降維後的座標是一種被建構的詮釋而非客觀事實,促使介面保留可被質疑、可切換視圖的餘地。
目前進度
狀態為 prototype。第一個公開的互動原型已經上線:/atlas/——227 則真實田野片段(手記段落 120、日誌段落 83、辭典詞條 24)經 bge-m3 轉為 1024 維向量,UMAP 投影為可旋轉、可切換語意/時間/來源三種視圖的 3D 星圖,滑過任一顆點可讀取內容並連回原文,資料為 2026 年 7 月的快照。在此之前,點雲渲染管線已在本站首頁驗證(即時取樣品牌 SVG 生成 14,000 顆粒子的 point cloud),證明 Three.js Points 在瀏覽器端承載萬級量體與即時互動的可行性。
尚未解決的部分誠實列出:其一,中文田野文本的 embedding 品質仍待評估——手記夾雜台語詞彙、地方俗名與人名,通用模型的語意切分是否貼近田野語境,需要人工查核比對。其二,聚類穩定性:目前《艷世紀》可用素材量偏少,少量資料下 UMAP 的投影對參數敏感,星群邊界會隨設定飄移,尚未找到在小樣本下讓結構可信的做法。多模態向量(文字與影像)如何放在同一座標系中對齊,也還在測試。
下一步
下一階段有三個可驗證的目標:第一,以《艷世紀》單一主題(例如一組市場攤位的田野筆記與照片)建立最小資料集,跑通「embedding → 向量庫 → UMAP → 點雲」的完整管線,產出第一張可載入的星圖。第二,對中文田野文本做 embedding 品質的人工查核:抽樣檢視語意相近的配對是否符合研究者判斷,記錄失準案例作為後續選型依據。第三,實作滑鼠靠近浮出摘要與主題、地理、時間三視圖切換的最小互動原型,先在小樣本上驗證互動節奏,再決定是否擴大素材規模。