TW-Bench 給大語言模型的台灣考題
本專案主旨為創建一套屬於臺灣人的 Benchmark，圍繞以下三大核心展開計劃： 【建立符合臺灣在地化現狀的基準】 能否真實反映臺灣在地化現狀是評測基準的關鍵考驗。我們提出一種能夠涵蓋多方面向及觀點的方法來構建此測試資料集，計劃邀請各領域專家參與討論，進一步完善這套方法論。 【建立多元且可持續更新測試資料集的機制】 透過開放公眾參與的策略，結合實體工作坊活動與網站平台，邀請來自不同背景的民眾及專家共同貢獻，從生活化的常識到專業領域的測試資料。 【建立透明且公正的評測制度】 由公眾參與開放式審議資料集，民主化測試資料集建置的過程，也會定期以CC0授權的方式釋出明題與暗題，確保開放的基準能夠被持續改進。
02. 提案代表人
03. 提案代表人的 g0v Slack 帳號名稱與成員識別碼
06. 專案於 g0v slack 的頻道名稱
07. 提案團隊簡介及與主題的相關性
計畫主持人 － Teemo
在台大醫院負責台大全體系醫院的健保資料與部分急診系統，推動虛擬健保卡、LLM 應用落地以及隱私強化技術 (PETs) 與就醫識別碼。平時也是 g0v 社群長期參與者，台灣人工智慧學校校友，關注台灣大型模型語言發展與治理，正在籌備給台灣在地 LLM 測試評分的 CC0 資料集。
專案經理 － Sam
現為法律百科專案共同負責人兼軟體工程師，曾與計畫主持人 Teemo 共同獲選 2022 總統盃黑客松「初審入選團隊獎」。在本次專案將負責制定並監督計畫，包括時間管理、資源分配及預算控制，確保專案目標順利執行。
09. 專案符合本次計畫哪些主題：（請勾選至少一項）
10. 參與梯次
12. 專案摘要（300字以內）
本專案主旨為創建一套屬於臺灣人的 Benchmark，圍繞以下三大核心展開計劃：
【建立符合臺灣在地化現狀的基準】
能否真實反映臺灣在地化現狀是評測基準的關鍵考驗。我們提出一種能夠涵蓋多方面向及觀點的方法來構建此測試資料集，計劃邀請各領域專家參與討論，進一步完善這套方法論。
【建立多元且可持續更新測試資料集的機制】
透過開放公眾參與的策略，結合實體工作坊活動與網站平台，邀請來自不同背景的民眾及專家共同貢獻，從生活化的常識到專業領域的測試資料。
【建立透明且公正的評測制度】
由公眾參與開放式審議資料集，民主化測試資料集建置的過程，也會定期以CC0授權的方式釋出明題與暗題，確保開放的基準能夠被持續改進。
13. 專案動機
近年來 ，許多大語言模型相繼問世，但這些模型在面對臺灣使用者時，多半僅透過生硬的翻譯來表達，無法真正體現臺灣豐富且多元的文化特色，也經常讓使用者感到不夠自然。
大語言模型不僅僅是解決問題的一項工具，更是作為知識與文化的載體，我們期望能夠引導模型更精準的呈現反映臺灣獨有的知識、語言用法及文化背景，提升對臺灣在地化表達和文化細節的敏感度。
我們建立測試資料集不僅僅只是為了改善 AI 對繁體中文的處理能力，更是想建立一套有公正、公開、有民眾參與制度的測試資料集，讓這套測試資料集作為一個重要參考，成為未來 AI 開發者在設計和調整模型時的重要參考依據。
14. 專案設計概念以及與主題的相符性
15. 專案技術可行性
- 本專案不會使用模型生成基準測試資料，確保沒有模型污染真實資料的問題
- 基準測試資料集會每年定期公開在 Github & Hugging Face
- 本專案會使用 web 之相關技術建立網站，作為介紹資料集以及建立公眾參與機制的管道
16. 專案可應用之情境說明
【情境一：AI 開發者及研究人員的參考依據】
本專案提供的測試資料集，是 AI 開發者和研究人員重要的參考資源，專門針對「臺灣在地化現況」進行深入評估。不僅涵蓋對模型「基礎直覺」能力的測試，也延伸至「進階專業知識」和「高等推論」的能力評估。透過清晰的評測指標，開發者和研究人員可以從而識別模型的強項和弱點，以提升模型的應用價值。
【情境二：評估 AI 在實際場域的落地應用】
透過專業領域的學者和從業人員參與討論，共同制定出適合於特定實際場域落地的AI應用基準。使 AI 開發者得以利用專案提供的測試資料集，不僅識別出模型在理論與實際應用間的差距，還能夠根據實際場域的特定需求和挑戰，加速模型從概念驗證到實際部署的過程。
17. 專案預期效益與社會貢獻
【推動 AI 技術的臺灣在地化】
建立一套反映臺灣在地特色的基準，使 AI 模型與應用更加貼近臺灣的文化與社會需求。提升 AI 技術在臺灣各領域的適應性和實用性，推動 AI 模型更貼近臺灣的文化和社會需求。
【加速知識交流與技術創新】
本基準將作為連接實際應用場域與 AI 開發者之間的重要橋梁，透過集結來自各領域的專家進行討論和知識分享。在參與過程中整合實務需求與建立落地應用的基準，也能夠理解 AI 的發展，更能進一步促進跨領域合作。
【提升公眾對 AI 技術的信任】
鼓勵各界人士參與貢獻，建立一個公正且透明開放的評測制度，提升公眾對 AI 技術的信任度，進而促進 AI 技術在各行各業的廣泛運用。
【推動臺灣在地知識的普及】
隨著測試資料集的建立與公開，民眾能夠無償取得這些資料，並得以使用不同形式展現或作為教育資源，進一步推動臺灣在地化知識與文化的廣泛傳播和普及。
18. 專案現況說明
本專案目前無參加其他競賽、獎助金計畫。
計畫主持人 Teemo 曾經在 g0v 提案「給大語言模型的台灣考題 TW-Bench」：
g0v tw hackath56n — 中場短講 — 從 Dolly 2.0 談 LLM 民主化 _ Teemo / 2023年7月4日
目前已建置以下網站，未來會在網站上介紹基準測試資料並實作公眾參與相關機制：
19. 團隊過去是否有做過相關主題的計畫？
20. 開源內容及其授權方式
為確保評測制度之公正性，會保留當年度基準測試資料作為評測暗題暫不公開，往年基準測試資料將以 CC0 方式開源釋出。
21. 專案期中與期末規劃
期中 (2024/05/31)
- 舉辦共 1 場工作坊
- 50 筆基準測試資料
期末 (2024/07/31)
- 舉辦共 3 場工作坊
- 150 筆基準測試資料
- 建立公眾參與機制
22. 專案預算規劃
23. 專案於計畫結束後之長期規劃
- 如專案流程圖所示，會持續維護、更新及公開基準測試資料集。
- 除了透過網站平台收集基準測試資料，會舉辦線上審議，或是與其他開源活動合辦實體活動，邀請來公眾參與貢獻基準測試資料。
- 計畫結束後會爭取企業贊助、募資計畫等方式尋求資金，以負擔各類基礎設備、人工資料審核及資料彙整之費用。