地方史料的交叉查核:我們替 AI 設的三道防線
整理田調史料時,AI 很會給你一個看起來很完整的答案,可惜其中一部分是它自己生出來的。我們替 M-01 引擎設了三道查核防線:AI 自我引用來源、開放資料庫比對、設計師的實地與紙本核對。這篇拆解每一道防線在擋什麼、又會漏掉什麼,以及為什麼最後一道永遠得由人來走。
先講一個讓我們決定寫這篇的畫面。
那天下午,我們把一段從舊報紙抄下來的地方記事丟進 M-01 的結構化流程,想讓它把年份、地名、事件整理成一張乾淨的表。三十秒後,表格回來了,漂亮到有點可疑:欄位齊全,每一格都填滿,連我們自己都沒抄清楚的一個年份,它都給了一個明確數字。我們盯著那格看了很久,然後翻回紙本——那個數字,原稿上根本沒有。它不是抄錯,是補上去的。補得很合理,合理到如果不回頭對紙,就會直接收下。
那一刻我們意識到:問題不是 AI 會不會出錯,而是它出錯的時候,長得跟對的一模一樣。所以我們不能只設一道關卡,得設三道,而且每一道要擋的東西不一樣。
第一道:讓 AI 自己交代來源
最靠近 AI 的那道防線,是要求它每給一個結論,就標出這個結論從哪句原文來的。
做法很土:結構化的時候不只輸出答案,還要輸出「證據片段」——它引用的那一段原文,原封不動貼回來。年份是這句話裡的哪幾個字?地名對應原文哪一行?我們讓它把答案和出處綁在一起交。
這道防線擋掉的,是最明目張膽的那種捏造。當我們要求它附上原文,很多「憑空長出來的欄位」會當場現形——因為它找不到可以貼的那句話,只好留白,或者硬貼一段根本不相干的文字,而不相干是人一眼就看得出來的。
但這道防線有個先天的漏洞,我們必須誠實講:AI 引用它自己讀的東西,等於自己批改自己的考卷。它可以很有信心地引用一段話,然後對那段話做出過度的推論。出處是真的,推論是歪的。這種「來源為真、詮釋為假」的情況,第一道防線幾乎攔不住。它能保證有出處,不能保證出處被讀對了。漏接的感覺很具體:表面上每格都有憑有據,細看才發現憑據和結論之間有一道沒人跨過的縫。
第二道:拿外面的資料來對
於是有了第二道——把 AI 整理的結果,拉去跟它讀不到的外部資料比對。
我們對的東西大致兩類。一類是政府開放資料:行政區沿革、地名的官方寫法、機關的成立時間這種有官方版本的事實。另一類是地方志、鄉鎮志這類已經被人整理校訂過的紙本或電子文獻。AI 說某地在某年改制,我們就去開放資料裡查那年到底有沒有這件事;它寫的地名用字,我們拿官方地名對一次。
這道防線的價值在於,它引進了一個 AI 沒看過的參照系。第一道是自己對自己,第二道是拿一個獨立的東西來卡。很多「合理但錯誤」的答案,是在這裡被卡下來的——那個被硬補上去的年份,如果落在開放資料能覆蓋的範圍,這一關就會亮紅燈。
它的漏洞也很清楚:開放資料和地方志覆蓋不到的地方,這道防線等於不存在。 越是地方、越是細節、越是沒被正式收錄的口述與私人記事,越查不到對照。而田調最有價值的,偏偏就是這些沒被正式收錄的部分。所以第二道防線有個尷尬的特性——它在越不需要幫忙的地方(有官方記錄的大事)越有力,在越需要幫忙的地方(沒人記過的小事)越無力。漏接的感覺是:能對的都對完了,剩下一疊查無此資料的條目,靜靜躺在那,誰也沒說它們對不對。
第三道:設計師回去走一趟
剩下那疊沒人擔保的條目,只能交給最慢、最貴、也最不能省的第三道——人回到現場,回到紙本。
這一道沒有捷徑。它是設計師拿著前兩關剩下的疑點,實際翻原始的紙本文獻、去比對現地的門牌與地貌、必要時當面問清楚。第一關留下的「來源為真、詮釋為假」,第二關留下的「查無對照」,最後都在這裡收尾。前面那個被補出來的年份,就是這一關翻回原稿抓到的。
我們把它排在最後,不是因為它最不重要,恰恰相反——它是唯一能為那些查不到的地方史料負責的一關。前兩道防線的功能,其實是把人力集中到真正需要人的地方:讓設計師不必逐條重查所有東西,只去走那些機器擔保不了的。三道防線是一個漏斗,不是三個獨立的篩子。
要說這一關的「漏接」,那更像是它的成本:它慢,它依賴走這一趟的人夠不夠細、夠不夠誠實。人也會累、會想當然爾。所以我們的規矩是,第三道防線的結論同樣要留下痕跡——查了哪本、對了哪處、問到什麼,寫下來。人查人,是這條線的最後一環。
三道加起來,也不等於零錯
寫到這裡得把話收回一點,免得聽起來像在保證什麼。
三道防線不會把錯誤歸零,它們做的是把錯誤往「顯眼」的方向趕。捏造的答案被要求附出處,歪掉的詮釋被外部資料卡,查不到的疑點被推到人面前——每一道都在讓潛伏的錯誤更難裝成正確的樣子。真正危險的從來不是被抓到的錯,是那種舒舒服服躺在完整表格裡、沒人起疑的錯。
回到開頭那格年份。它今天不在我們的資料裡,不是因為某個模型變聰明了,是因為有人翻回了那張紙。這件事我們短期內不打算交出去。AI 負責把繁瑣的整理扛下來,讓人有力氣去走該走的那一趟——準確與觀點,還是得由走過那一趟的人來擔。