客語斷詞暨自動詞性標記系統

提案人 Irene Liao
第二梯(2024/02/21 - 2024/03/17)

此專案以四縣客語為初步標的,透過語言學知識為斷詞系統建立詞彙庫和語法規則,希望以非大數據或統計的方式做出可廣泛應用的斷詞系統,為沒有大量語料的台灣本土語言提供一個可行的方向。

02. 提案代表人

廖苡伶/Yi-ling Liao

03. 提案代表人的 g0v Slack 帳號名稱與成員識別碼

Irene Liao (T02G2SXKM)

06. 專案於 g0v slack 的頻道名稱

#客語斷詞暨自動詞性標記系統

07. 提案團隊簡介及與主題的相關性

廖苡伶 專案負責人 清大語言學研究所 博士生

林宗宏 顧問 (西拉雅語專家) 國立清華大學語言學研究所 正教授

廖偉聞 顧問 (語法專家) 中央研究院語言學研究所 副研究員

09. 專案符合本次計畫哪些主題:(請勾選至少一項)

繁體中文文本採集,用於語言模型訓練資料
其他語言考慮:台語、客語、原住民族語

10. 參與梯次

第二梯(2024/02/21 - 2024/03/17)

12. 專案摘要(300字以內)

此專案以四縣客語為初步標的,透過語言學知識為斷詞系統建立詞彙庫和語法規則,希望以非大數據或統計的方式做出可廣泛應用的斷詞系統,為沒有大量語料的台灣本土語言提供一個可行的方向。若此專案能順利完成,將能省去大量人力與經費於斷詞系統開發。

13. 專案動機

藉由大數據和機器學習方式產生的斷詞系統需要大量資源的投入(保括人力、能源,和資金),成果的準確度也和語料的數量有很大的關係。語料數量和資源較少的台灣本土語言若透過這種方式建立斷詞系統,將無法達到令人滿意的準確度。因此本專案希望能將語言學的知識融入斷詞系統的開發,不僅能降低所需投入的資源,也能為語料量少的語言提供一個斷詞的方案。專案首先以台灣四縣客語為標的,之後再擴展至客語其他腔調和其他台灣本土語言。

14. 專案設計概念以及與主題的相符性

15. 專案技術可行性

此專案已在進行中,已可試用。
專案網址:https://github.com/Droidtown/ArticutAPI_Hakka

16. 專案可應用之情境說明

斷詞系統為自然語言處理的基礎,若有了斷詞系統,將可應用在機器翻譯、信息檢索、自動標記大型語言模型的微調及訓練資料,以提供各公司行號的客服系統等等使用。

17. 專案預期效益與社會貢獻

此專案預期效益主要是讓四縣客語的斷詞系統可以順利運作,並不用透過大量經費和人力資源來進行系統維護和新詞處理。此專案也可應用在其他台灣本土語言以及語料量較少的語言,為社會上的少數民族提供一個可行的斷詞方案。

18. 專案現況說明

無

19. 團隊過去是否有做過相關主題的計畫?

無

20. 開源內容及其授權方式

本專案的主要開源包括:所有產出成果為MIT 授權。相關客語例句與詞彙字典來自客委會,依原授權釋出。

21. 專案期中與期末規劃

期中規劃(獲選後 60 天):
語料匯入(客語檢定詞彙基礎級、初級、中級、中高級、高級)且詞彙庫整理和分類完成。

期末規劃(獲選後 120 天):
語法規則建立完成,並做測試和修正問題。

22. 專案預算規劃

23. 專案於計畫結束後之長期規劃

將此斷詞方案之原理,套用於其他台灣本土語言或其他需要此系統的語言。

24. 其他想補充之內容

無