Memory-to-Motion
Translating cultural field notes into replayable text-driven motion
本研究線探討如何把一段田野筆記直接轉譯為可重播、可調參的動態視覺,而非靜態插圖。透過 LLM 抽取文字中的空間、動線與情緒訊號,映射到一套動態語法,讓筆記的節奏在時間軸上重新展開,測試文字結構與運動結構之間是否存在可操作的對應關係。
研究問題
一段田野手記通常這樣寫:「從市場後巷轉進去,攤位密度突然變低,只剩兩三家還亮著燈,水聲從左邊排水溝過來。」我們在《艷世紀》(yenz.tw)累積的手記裡,這類句子帶著明確的空間移動、密度變化與環境情緒,但當它被排版成網頁時,只剩下一段靜止的文字,頂多配一張照片。文字裡原本存在的「走進去」「突然變低」「從左邊過來」——那些方向、速度與轉折——在轉為視覺時全部被抹平了。
這裡的設計困境是:靜態圖片是文字的截面,不是文字的過程。一張照片可以記錄「兩三家亮著燈」的結果,卻無法表達「密度突然變低」這個發生在閱讀時間裡的動作。我們想問的是:文字本身的節奏感——句子的推進、停頓、方向轉換——能不能被轉譯為時間軸上的運動,讓讀者看見的不是一張圖,而是一段筆記被「重新走過」的過程。
方法與系統構想
系統構想分為三層。第一層是語意抽取:以 LLM 對單段手記做結構化標註,分離出三類訊號——空間詞(後巷、攤位、排水溝)、動線詞(轉進、變低、過來)與情緒詞(密度、亮、暗)。這一層與我們常駐運行的田調資料結構化引擎 M-01 共用同一套抽取管線,差別在於輸出的目標不是資料庫欄位,而是一組帶時序的運動參數。
第二層是動態語法(motion grammar):把抽取出的訊號映射到有限的視覺動作集合——線條沿路徑延伸對應動線、節點浮現對應空間錨點、文字碎片沿路徑漂移對應閱讀順序。語法必須是可列舉、可組合的,避免變成不可解釋的黑箱動畫;每一個運動都應能回溯到原文的某個詞。第三層是可重播的 motion sketch:輸出一段參數化、可回放、可調速的草稿,而非一次性影格,讓設計者能在 concept 階段反覆比對「這樣動」是否貼近「這樣讀」。技術上預期沿用既有棧:Astro 承載頁面、Three.js 與 GSAP 處理時間軸與運動、Cloudflare 邊緣部署。
相關研究與參照
- Reas & Fry, 2007 — Processing: creative coding platform, MIT Press。本研究線把手記轉為草稿式運動的做法,承襲 creative coding 以程式生成、可反覆調參的視覺傳統,而非固定影格輸出。
- Drucker, 2014 — Graphesis: Visual Forms of Knowledge Production, Harvard UP。提醒我們視覺不是資料的中性呈現而是知識的建構;動態語法的每個映射都是一次詮釋,需標明其來源而非假裝客觀。
- Moretti, 2013 — Distant Reading, Verso。文本可被抽取為結構訊號再重新觀察的觀點,支持我們把手記拆解為空間/動線/情緒三軸的分析取徑。
- Lupi, 2017 — Data Humanism manifesto。主張資料視覺化應保留脈絡與個體質地,呼應本研究線不追求通用模板、而要貼合單段筆記語氣的目標。
目前進度
本研究線目前為 concept 階段,尚無可運作的原型。已完成的是問題界定與素材盤點:確認《艷世紀》手記中確實存在足量帶動線與情緒的段落可供實驗,並確認語意抽取可複用 M-01 既有管線。動態語法目前只是一份紙上詞彙表,「哪些詞該對應哪種運動」尚未經任何實作驗證,文字節奏與視覺節奏是否真能對齊,也還是一個開放的假設而非結論。
下一步
下一階段設定三個可驗證目標。其一,從手記中人工挑選 5 段結構清楚的段落,手工編寫其對應的動態語法映射表,作為之後自動化的對照基準(ground truth)。其二,先不接 LLM,以人工標註的參數餵入 GSAP 時間軸,做出第一支 motion sketch 原型,單純檢驗「動態語法能否表達出可辨識的動線」。其三,以小樣本內部評閱比對同一段手記的靜態版與動態版,記錄設計者主觀上「哪一版更接近閱讀感受」,作為是否值得推進到 in-dev 的判斷依據。