談古契書資料處理：之一

這一陣子在「想寫的文章」上進展頗為遲緩 --- 那我在忙些什麼啊？

嗯，一言難盡。簡單地說，是在做實驗室古契書電子檔的一些資料處理實驗。

實驗室裡，多年來持續在進行一個 THDL (Taiwan History Digital Library，台灣歷史數位化圖書館）的計畫。希望能藉由電腦科技與數位化古籍資料，來改善歷史學者（與一般民眾）對台灣歷史的研究與了解。

因此，實驗室有著許多「花不少錢」請人數位化的台灣古契書資料。然而，光是「資料數位化」這個過程，其實就隱含著許多困難。例如，古契書常常會有一些奇特的字，沒有被收錄到 Big5 或者 Unicode 裡，而這就產生了「缺字問題」。

除了這個相對明顯的「缺字問題」外，還有一些努力（或者說是苦工）就經常被忽視。例如，將這些不同 corpus（文獻集）的資料數位化時，通常都是請人「把文件內容掃描、打字」來取得數位資訊的，因而就產生了「資料彙整」的問題。例如，若打字人員是用 Microsoft Word 來鍵入資料，那麼我們最後還是得寫程式來將文字資料從 Word 文件中轉出。

對文件做資料格式轉換，聽起來也沒有什麼。不過，它背後還隱含著文件編碼（Big5、UTF-16 Big Endian、UTF-16 Little Endian、UTF-8）的假設。於是，用 Java 寫的轉換程式，輸出就是 UTF-16 Big Endian 的格式 -- 這讓我稍嫌老舊的 UltraEdit「無法正常編輯檢視」，於是我就得花點力氣再將它們再轉成 UTF-16 Little Endian 編碼。

另一方面，寫程式從 Word 文件將文字資料轉出，有可能對某些文件處理失敗。通常，這部分的努力很少得到「長官」合適的重視，也因此讓「資料處理」成為一件吃力不討好的差事。

經過一些資料檢視與實驗，我對於實驗室學弟妹們的辛苦（做了很多雜事，卻沒有被 appreciate 到的感覺），其實是有一份理解的。