談古契書資料處理：之二

上回談到古契書資料處理的一些棘手處。

在數位化的過程中，必須有人介入（掃瞄、打字等等）來產生「第一手的數位化資料」。這裡的重點是：有人介入，就會有錯誤產生。有時是看錯原籍，有時是打錯字詞，有時則是心不在焉、錯誤連連。此時，如果沒有安排「校對」的人力（據說，實驗室的古籍資料，是有安排校稿的人力；但從結果看來，似乎在品質上沒有改進太多），寫程式來做後續處理的人，就注定陷入一番苦戰了。

此外，如果沒有事先加以規範（但老實說，要「事先」就知道困難所在、並加以防範處理，是相當不容易的），即使看到同樣的字，不同的輸入人員可能會將其數位化成「形狀類似、但實際上不同」的字碼。例如，古契書裡並沒有使用阿拉伯數字，因此 40 會寫成「四〇」。從實際數位化的資料來看，至少有「四〇」、「四Ｏ」、「四０」、「四○」（這些「零」--- 〇Ｏ０○---看起來很相似吧？）等幾種不同的結果。

如果數位化資料只是供人閱讀，那倒還好；但若想對這些資料做進一步的處理，寫成不同的字碼，會導致寫程式做進一步處理時的困擾（例如，要搜尋文件中出現「四〇」字串），甚至會導致資料轉換的錯誤。

最後，還想再為「編碼」所導致的煩惱多說幾句。事實上，光是編碼、轉碼的問題，就夠資料處理的人員忙翻了。多種編碼共存也就算了，開發工具與國際組織們，往往也各支援不同的標準。例如，目前的 PHP 版本，就只支援 ISO-8859-1 編碼格式的程式；Windows 與 Java 內部則是採用 Unicode （不過，前者是 Little Endian 編碼；後者是 Big Endian 編碼）；而現在流行的 XML 則建議使用 UTF-8。

怎麼這麼多種「標準」啊？從技術的觀點來看，每種編碼是各有其優缺點。但我有時不免會想：那些英語系國家的開發人員，大概不曉得處理這種編碼轉換是多麼令人厭煩吧。