
客語斷詞暨自動詞性標記系統
提案人 Irene Liao
此專案以四縣客語為初步標的,透過語言學知識為斷詞系統建立詞彙庫和語法規則,希望以非大數據或統計的方式做出可廣泛應用的斷詞系統,為沒有大量語料的台灣本土語言提供一個可行的方向。
02. 提案代表人
廖苡伶/Yi-ling Liao
03. 提案代表人的 g0v Slack 帳號名稱與成員識別碼
Irene Liao (T02G2SXKM)
06. 專案於 g0v slack 的頻道名稱
#客語斷詞暨自動詞性標記系統
07. 提案團隊簡介及與主題的相關性
廖苡伶 專案負責人 清大語言學研究所 博士生
林宗宏 顧問 (西拉雅語專家) 國立清華大學語言學研究所 正教授
廖偉聞 顧問 (語法專家) 中央研究院語言學研究所 副研究員
09. 專案符合本次計畫哪些主題:(請勾選至少一項)
繁體中文文本採集,用於語言模型訓練資料
其他語言考慮:台語、客語、原住民族語
其他語言考慮:台語、客語、原住民族語
10. 參與梯次
第二梯(2024/02/21 - 2024/03/17)
12. 專案摘要(300字以內)
此專案以四縣客語為初步標的,透過語言學知識為斷詞系統建立詞彙庫和語法規則,希望以非大數據或統計的方式做出可廣泛應用的斷詞系統,為沒有大量語料的台灣本土語言提供一個可行的方向。若此專案能順利完成,將能省去大量人力與經費於斷詞系統開發。
13. 專案動機
藉由大數據和機器學習方式產生的斷詞系統需要大量資源的投入(保括人力、能源,和資金),成果的準確度也和語料的數量有很大的關係。語料數量和資源較少的台灣本土語言若透過這種方式建立斷詞系統,將無法達到令人滿意的準確度。因此本專案希望能將語言學的知識融入斷詞系統的開發,不僅能降低所需投入的資源,也能為語料量少的語言提供一個斷詞的方案。專案首先以台灣四縣客語為標的,之後再擴展至客語其他腔調和其他台灣本土語言。
14. 專案設計概念以及與主題的相符性
15. 專案技術可行性
16. 專案可應用之情境說明
斷詞系統為自然語言處理的基礎,若有了斷詞系統,將可應用在機器翻譯、信息檢索、自動標記大型語言模型的微調及訓練資料,以提供各公司行號的客服系統等等使用。
17. 專案預期效益與社會貢獻
此專案預期效益主要是讓四縣客語的斷詞系統可以順利運作,並不用透過大量經費和人力資源來進行系統維護和新詞處理。此專案也可應用在其他台灣本土語言以及語料量較少的語言,為社會上的少數民族提供一個可行的斷詞方案。
18. 專案現況說明
無
19. 團隊過去是否有做過相關主題的計畫?
無
20. 開源內容及其授權方式
本專案的主要開源包括:所有產出成果為MIT 授權。相關客語例句與詞彙字典來自客委會,依原授權釋出。
21. 專案期中與期末規劃
期中規劃(獲選後 60 天):
語料匯入(客語檢定詞彙基礎級、初級、中級、中高級、高級)且詞彙庫整理和分類完成。
期末規劃(獲選後 120 天):
語法規則建立完成,並做測試和修正問題。
語料匯入(客語檢定詞彙基礎級、初級、中級、中高級、高級)且詞彙庫整理和分類完成。
期末規劃(獲選後 120 天):
語法規則建立完成,並做測試和修正問題。
22. 專案預算規劃
23. 專案於計畫結束後之長期規劃
將此斷詞方案之原理,套用於其他台灣本土語言或其他需要此系統的語言。
24. 其他想補充之內容
無