台灣語言模型競技場 Taiwan Chatbot Arena

林彥廷

林彥廷

tw-chatbot-arena

Project Lead: 林彥廷
Personal website: https://yentingl.com/
Google scholar: https://scholar.google.com/citations?user=UWOV0tYAAAAJ&hl=en
具有豐富的軟體開發和人工智慧實務經驗。林彥廷獨立開發出第一個繁體中文大型語言模型 Taiwan-LLM (https://huggingface.co/collections/yentinglin/taiwan-llm-6523f5a2d6ca498dc3810f07) 。
在過去幾年中，專注於自然語言處理和機器學習領域，有美國大廠 (Amazon Alexa AI, IBM Research) 實習經驗。在本計畫中，林彥廷將負責整體專案規劃、技術開發指導，以及團隊協調，確保專案目標與時程的達成。

Advisor 顧問: 陳縕儂，為台大資工系副教授，具備深厚的語言模型與機器學習背景。作為本計畫的顧問，陳縕儂教授將提供專業的技術諮詢和指導，幫助團隊優化語言模型的開發與評估方法。

Benchmark 台灣觀點的評測

第一梯（2024/02/18 前）

N/A

台灣語言模型競技場（Taiwan Chatbot Arena）旨在建立一個創新平台，對繁體中文語言模型進行深入的基準測試（Benchmarking），重點評估它們在處理台灣觀點及社會議題方面的表現。本計畫將透過群眾盲測的形式，對私有和開源語言模型的自然語言理解（NLU）和自然語言生成（NLG）能力進行客觀比較，特別注重模型對於繁體中文內容的處理效能。

此外，本計畫的一大創新之處在於，將收集來自廣泛用戶反饋的數據公開分享給研究和開發社群，以作為強化學習和人工智慧模型精進（Reinforcement Learning from Human Feedback, RLHF）的寶貴資源。這是台灣在語言模型領域中前所未有的嘗試，旨在激勵本地以及全球的AI研究，推動語言技術的創新及多元化發展。

通過這項計畫，我們期望不僅增強公眾對於語言模型技術的理解和興趣，也希望透過分享高質量的互動數據，促進台灣及國際社群在語言模型研究與應用的進步，為語言技術的未來發展奠定堅實基礎。

隨著人工智慧的快速發展，中國大陸在語言模型領域的進步尤為迅猛，這對台灣而言，既是一個挑戰也是一個機遇。中國大陸的語言模型發展快速，提供了大量的研究成果和技術創新，但同時也凸顯了台灣在這一領域相對落後的狀況。尤其在繁體中文語料的收集、處理及應用上，台灣面臨著顯著的資源和數據不足問題。這一差距若不及時弭平，將影響台灣在全球語言技術發展中的地位和競爭力。

台灣語言模型競技場（Taiwan Chatbot Arena）計畫因此應運而生，通過提供一個公平、透明的評測平台，來促進繁體中文語言模型的技術進步和創新。特別注重收集與台灣本土文化、社會議題相關的繁體中文語料，並通過公開這些資料和評測結果，鼓勵國際社群對繁體中文的研究興趣，從而增強台灣在國際語言技術社群中的貢獻和影響力。

本計畫的另一重要動機是認識到開源資料的重要性。在全球範圍內，開源資料和工具已成為推動技術創新和研究進步的重要力量。台灣需要藉由積極貢獻開源資料和參與國際評測，來弭平與中國大陸在語言模型發展上的差距，同時也為台灣科研人員和技術開發者提供更多的學習和創新機會，促進台灣語言技術的發展和國際合作。

本專案由https://chat.lmsys.org/作為出發，並持續調整成在地化評測平台 https://arena.twllm.com/

專案成果能讓研究人員和開發人員快速識別最適合其特定需求的語言模型，從而提高研究和開發效率。在開發針對特定台灣文化和社會議題的應用時，能夠選擇最佳的語言模型，確保應用的準確性和相關性。此外，透過比較不同模型的表現，開發者可以優化現有工具和服務，提供更貼近用戶需求的體驗。評測平台還能促進開源社群的協作，鼓勵共享改進後的模型和技術。

首先，它將為語言技術研究社群提供一個豐富的資料庫和評測平台，加速繁體中文處理技術的創新和發展。此外，通過確定最適合特定應用的語言模型，開發者能夠創建更精準、更有效的應用和服務，從而提升用戶體驗。

在社會層面，這項計畫將促進語言和文化的保存與傳播，尤其是在數位時代保護台灣豐富文化遺產的背景下。通過提升語言技術，可以更好地理解和傳播台灣獨特的語言和文化，增強社會凝聚力。

本專案已經成功開發出初步的平台原型，位於 https://arena.twllm.com/。這一平台允許用戶對不同的語言模型進行性能打分，已經支援 Google Gemini, GPT-4, ChatGPT3.5, Mistral, Taiwan-LLM。目前已經收集到超過五百筆來自匿名用戶的評分數據。這些數據對於理解各種模型在處理繁體中文語料方面的效能至關重要，為我們提供了寶貴的用戶反饋，幫助我們持續優化和改進平台。

接下來，我們計劃對平台進行重大升級，以支援更多先進的應用場景。這包括但不限於多模態大型語言模型（Multi-modal Large Language Models，簡稱Multi-modal LLM）和檢索增強型生成（Retrieval-Augmented Generation，簡稱RAG）等技術。

台灣第一個繁體中文語言模型:
Demo: https://twllm.com/
Paper: https://huggingface.co/papers/2311.17487
Model/Data Collection: https://huggingface.co/collections/yentinglin/taiwan-llm-6523f5a2d6ca498dc3810f07

程式碼: Apache 2.0 License
資料集: Apache 2.0 License

期中規劃（獲選後 60 天）
目標：實現對Retrieval-Augmented Generation（RAG）技術的支援。
驗收標準：
成功整合RAG技術至平台，允許研究人員和開發人員利用此技術來改善語言模型的生成質量和相關性。
完成至少一個RAG技術的應用示例，並公開文檔和使用指南。

期末規劃（獲選後 120 天）
目標：擴展平台以支援Multi-modal Large Language Models（多模態大型語言模型）。
驗收標準：
成功實現多模態LLM的支援，使平台能夠處理和生成不僅基於文本，還包括圖像和可能的其他模態的輸入和輸出。
開發並展示至少兩個多模態LLM的應用案例，涵蓋不同領域（如教育、娛樂或客服）的應用。

專案預算規劃範例

1. API Call 預算

• 項目：API 請求費用 (包含但不限於 OpenAI, Google Vertex AI, Mistral)
• 數量：預計每月請求量
• 價位：根據提供商定價
• 項目說明：為了支持語言模型的生成，需要支付API調用費用。
• 預算：400,000新台幣

2. 服務架設和運維預算

• 項目：雲端伺服器費用
• 數量：每月服務
• 價位：根據雲服務提供商定價
• 項目說明：包括伺服器租用、數據儲存和頻寬費用，支援專案運行和數據處理需求。
• 預算：100,000新台幣

總預算概覽

• 總預算：500,000新台幣

專案計畫結束後，我們將持續優化平台功能，擴大社群參與，並探索新的應用場景，以確保其長期發展和影響力。

- Taiwan-LLM 榮幸受邀在Meta亞太創新研討會上進行專題演講，分享我們在台灣AI發展上的貢獻和見解。
- 專案得到了多家媒體的關注和報導，強調了我們在推動台灣人工智慧發展上的重要作用。相關報導連結：
- [鏡週刊](https://www.mirrormedia.mg/story/20231226pol007)
- [數位時代](https://www.digitimes.com.tw/tech/dt/n/shwnws.asp?CnlID=71&cat=240&id=0000673001_7JV17WPQLQ7IKR2PBBB0R)
- [科技橘報](https://buzzorange.com/techorange/2023/08/17/taiwanese-ai-chatbot-from-ntu-phd/)
- [數位時代](https://www.bnext.com.tw/article/77335/ubitus-ai-taiwan-llm)
- [Vocus](https://vocus.cc/article/64e0985dfd8978000128eb80)