台語自動分詞與詞性標記系統

李家名

trueming.l (droidtown-nki1675) (T06PTV3F57F)

Trueming (李家名)：

• 卓騰語言科技 (語言研究部資深經理)
• 國立臺灣大學工程科學與海洋工程博士班 (肄業)
  • 研究主題為小數據資料的中文斷詞演算法。

Eclair：

• 卓騰語言科技 (核心開發部資深工程師)
• C++ 版 Articut 中文自動斷詞/標記系統開發者
• 國立臺灣大學工程科學與海洋工程研究所 碩士
  • 研究主題為不同場景環境下之文字區塊辨識

Keith：

• 卓騰語言科技 (應用工程部資深工程師)
• Loki 自然語言理解系統開發者
• 國立高雄應用科技大學 資訊管理系碩士

其他語言考慮：台語、客語、原住民族語
Benchmark 台灣觀點的評測

第二梯（2024/02/21 - 2024/03/17）

除了臺灣羅馬字拼音書寫以外，現代臺灣台語另有一大批使用是使用台語白話字書寫而成。而使用這些語料施做大型語言模型 (Large Language Models) 的應用時，一大挑戰在於台語白話字書寫系統中，有許多和臺灣的國語使用一致的字符 (character)。

例如「你想會著的攏記落來。」一句中，每一個字都是臺灣的國語中會使用到的字符，因此何時讓大型語言模型察覺到目前的提詞輸入是臺灣台語，而非臺灣的國語繁體中文而已，甚至絕對不是簡體中文的文字，將是語言模型中呈現「台灣觀點」的一大評測重點。

本專案計劃針對臺灣台語語料設計一個可和現代 NLP/NLU 工具做串接，甚至可和 LLM 做語意計算串接的自動分詞與標記系統。專案內容包括以下兩個目標：

• 臺灣台語自動分詞系統
• 臺灣台語詞性標記模組

臺灣台語的白話字書寫，其實並不如大家所誤解地總是披著本土意識型態的外衣。常見的諸如「母湯、歸剛、口感很Q…」等詞彙的出現，都表現出臺灣的語言表現除了國語以外，另有一個臺灣台語的子系統和國語一起搭配著，為許多人日常使用。

可惜的是，諸多臺灣台語的資訊工具往往因其使用「資訊模型」的限制，而用了純台語語料的台語辭典，使其也只對純台語的文本，才能產生最佳的結果。

「如果我們設計一個能同時兼具臺灣的國語和台語兩個系統的斷詞系統，不就能處理這個問題了嗎？」

於是，我們想使用「基於臺灣的國語句法結構」設計的 Articut 中文版做為基底，以 API 對接的方式，再加上臺灣台語特有的句法 (例如：「飲乎伊乾」中的「乎伊」) 和構詞結構 (例如：三疊形容詞「紅紅紅」)，做出一可讓臺灣的國語和台語兩個系統文本同時使用的中文斷詞系統。

如此一來，我們將能更好地幫助 AI 和各種 NLP 工具處理諸如「每杯上桌都被他飲乎伊乾，喝得整張臉紅紅紅」這種同時夾雜國語和臺灣台語句法、詞彙的文本。

設計概念圖： https://drive.google.com/file/d/1LQA_f8DWqT0LgKOJ7V76yxJQyGuRhklq/view?usp=sharing

本專案成果預計將有「臺灣台語自動分詞」、「臺灣台語詞性自動標記」功能。除專案成果將以開放原始碼方式呈現外，亦將成果包裝成 Python 模組，使用者可利用 pip 工具安裝 ArticutAPI_Taigi 並在發佈時，將擁有完全相容於官方中文版 ArticutAPI 的功能。

相符主題「Benchmark 臺灣觀點的評測」。以抽象句法模型而非資料模型實作，除可保留臺灣台語特有的句型資訊以外，亦可避免因台語語料中諸多舊社會傳統價值和性別刻板印象 (例如教育部台語辭典中的例句：「惹熊惹虎，毋通惹著刺查某。」、「人講斷掌查埔做相公，斷掌查某守空房。」…等) 被資料模型學習的問題。

此外，本專案的實作目標亦明顯相符「其他語言考慮，台語、客語、原住民族語」的主題。

有 AI 界李白之稱的蔡宗翰教授，其實驗室在 2022 年有一篇論文登上 NLP 界排名前三的期刊 EMNLP 的 Findings，其實驗中即發現使用中文版的 Articut 配合少量的閩南語字典，即可得到相當不錯的處理結果。 論文連結：https://aclanthology.org/2022.findings-emnlp.469/

本專案即延伸自此概念，除了閩南語字典以外，更額外添加「台語語法模型」，除更可提升斷詞正確性之外，還能保證詞性標記的可靠度。這點尤其對後續的 LLM 微調訓練可以提供重要的語意維度資訊。

詞表擴充可視為讓 LLM 快速學會新的低資源語言的實踐方法。要進行詞表擴充，顯然需要有詞表作為基礎。本專案的完成使得我們能夠自動產生大量正確切分的臺灣台語詞彙，以供整理成為擴充 LLM 所需的詞表。

MTK (聯發科) 研究部最近即利用「詞表擴充」的方法，完成了與 GPT3.5 具備相當水準的繁體中文/英文 LLM，名為 BreeXe-8x7B，其根源即是來自於 Mixtral-8x7B，再經過詞表擴充 (和其它調整) 後完成。

大型語言模型的誕生，雖然開創了語言科技應用的新篇章，促進了各類應用的實現，但同時也不可避免地加速了所謂的「語言量級霸權」現象。這一現象中，使用主流語言（如英文、西班牙文）的資料透過人工智慧（AI）工具的加持，將在資訊的海洋中占據更加優勢的位置，從而壓縮使用非主流語言（如繁體中文，甚至是到使用者更少的臺灣台語、客語、南島語等）的使用。

這種語言間的不平等，不僅影響了資訊的多樣性，也限制了文化的傳承和發展。

我們意識到這一問題的嚴重性，因此著手透過本專案的實作基礎建設方法，目標是創造一個既靈活又應用廣泛的系統，不僅能成為支援臺灣台語 NLP 的核心技術，也能作為擴充大型語言模型（LLM）詞彙的工具，特別是對於臺灣台語這種在 LLM 模型中較少支援的低資源語言提供強有力的支持。通過這樣的努力，我們希望能夠為這些非主流語言的保存和發展開辟新的道路，並為促進語言多樣性和文化傳承做出貢獻。

此外，這個專案也探索了如何利用先進的機器學習技術和自然語言處理方法來分析和處理低資源語言的語料。透過建立精確的語言模型和開發專門的演算法，我們能夠更加理解和處理這些語言的獨特性質，從而提高它們在數位世界中的能見度和應用價值。此外，透過與語言學家、社區成員以及技術專家的密切合作，本專案也致力於建立一個持續更新和完善的資料庫，為其它低資源語言的研究和應用提供堅實的基礎。

簡而言之，通過本專案的努力，我們期待能夠不僅解決語言資源不均的問題，也為全球的語言多樣性和文化豐富性的保護做出貢獻。這不僅是對技術進步的追求，更是對人類共同遺產的珍視和維護。

本專案目前沒有參與其它競賽，沒有其它獎助金計劃。 已有專屬的開源 Github 源碼倉庫 連結。

需要整理的例句分佈如下：

• 教育部台語辭典例句約為 16000 句，目前已用工餘時間進行約六個月，尚餘 9000 句需處理。
• 台語戲曲台詞約 7150 句，目前餘 7150 句。 以上總共餘 16150 句尚需處理。

團隊成員即為中文版 Articut 的開發成員，同時也是 ArticutAPI 的開發成員。六年來，對於如何透過後續的串接與後處理 (Post-processing) 以調整 Articut 適應不同的語言需求有著第一手的經驗。

本專案所撰寫之程式為 MIT License。 本專案內附之教育部台語詞典為創用CC「姓名標示-非商業性-禁止改作」2.5臺灣版授權條款

我們預計在獲選後依以下進度進行：

• 啟動後 60 天：依教育部台語辭典例句的測試結果，調整自訂辭典以及實作台語句法模型。
• 啟動後 90 天：依其它台語文本 (例如「荔鏡記」閩南語戲曲劇本) 的測試結果，調整自訂辭典以及實作台語句法模型。
• 啟動後 120 天：實作完整的 API 功能並上架 Pypi 供使用者以 pip 工具下載。

預算表

長期而言，我們將逐步將本專案的執行成果和其它線上及線下 LLM 串接，也向國內本土語言社群推廣，取得更多使用者回饋意見並著手調整系統。

除了台語白字以外，坊間另有一 KTV 台語歌常用詞彙目前尚無人整理，這也是我們預計要繼續擴充的詞表目標。

最後，在主要詞彙都納入詞表以後，我們另將著手實作文字轉台羅拼音以及台羅拼音轉文字的功能。