LLMezify-大型語言模型科普公開課計畫

謝昆霖

孵大學 X-University（U06HBBUH48G）

#LLMezify

專案經理：謝昆霖 孵大學 校長。核心專長：建築設計、室內設計、商業思維、跨領域整合、設計思考、議題導向設計創新教學、創新教學模式、創新創業教育。http://tinyurl.com/y8fb87rh

專案架構師：梁文智(Manchi Leung) With over two decades of experience in software development, Manchi currently serves as Technical Advisor for digital governance in startup companies. In recent years, he has assumed a senior leadership role as the Senior Vice President of Engineering at Central Retail, Thailand's largest omni-channel retail company. In this capacity, he successfully led a team of 150 engineers across offices in Bangkok, Ho Chi Minh, and Budapest. https://www.linkedin.com/in/manchi/

繁體中文文本採集，用於語言模型訓練資料

第二梯（2024/02/21 - 2024/03/17）

/ 本計畫書 GDoc 連結： http://tinyurl.com/4tyf4u5h /

1. 增加「直播影片資料轉用為資料集：處理流程」架構圖，說明資料集製作過程。

2. 說明計畫完成後能可產出188,000個字，其能作為高品質正體中文資料集。

3.舉辦系列《如何準備 AI 訓練用正體中文語言資料集》的開源課程目前觀看次數達5,643人次，能持續促進不熟悉 AI 的 每個公民、非營利組織、非政府組織，釋放、參與製作高品質的正體中文開源資料集。

舉辦系列線上教學**《如何準備 AI 訓練用正體中文語言資料集》促進不熟悉 AI 的 每個公民、非營利組織、非政府組織，釋放、參與製作 高品質的正體中文開源資料集。並將系列課程資料影片文字整理成開源資料集**，提供語言訓練模型使用，強調用語符合台灣在地化，正確無受簡體中文污染的內容。課程對話將經嚴謹整理、校稿為開放資料集成為訓練資料，並串接LINE機器人，提供不同管道的自由學習之用。

中央研究院詞庫小組(CKIP) 釋出 CKIP-Llama-2-7b 繁中 LLM ，使用中國的訓練資料集出問題後，讓我們思考：「既然繁體中文LLM要很多人、很多錢才能訓練好，那感覺就是開放社群能做的事」。我們認為：台灣人編出「教 AI 的台灣教科書」，才能「教出」專屬於台灣正體中文的 AI。

基於以上的原因，收集和創造正體中文語言資料集是我們認為台灣的當務之急，2023年底開始，就在FB社團中開始舉辦線上《如何準備 AI 訓練用正體中文語言資料集》課程，目前是讓不熟悉 AI 的 每個公民、非營利組織、非政府組織了解和釋放、參與製作 高品質的正體中文開源資料集，讓AI用語符合台灣在地化，提供正確無受簡體中文污染的資料。

第一步：舉辦系列線上教學《如何準備 AI 訓練用正體中文語言資料集》

• 張羅課程規劃、報名、線上直播。
• 協助講師備課。與講師詳細討論上課內容，調整話術與線上互動方式。與老師簽署開源授權協議。
• 全程跟課，含主持、直播平台的技術處理。
• 系列課程內容：持續增加中 ** LLM 怎麼煉成的。 ** 訓練用語言資料集的型態、功能、目的、必要條件。 ** 潛在的法律問題探討。 ** 資料集實際的長相(資料結構、欄位、檔案格式) ** 一個人如何開始一個資料集。 ** 什麼是有品質的資料集.......

第二步：將課程文本整理成【LLMezify - 大型語言模型科普公開課資料集】

• 課程講義與影片收錄與整理。
• 課程影片重新剪輯上字幕。
• 整理直播Ｑ＆Ａ製作成對話集。
• 將所有文本製作成Json檔釋出，上傳hugging face提供開源檔下載，上傳dsr4.ai提供RAG串接。
• 影片則免費上架Youtube及孵大學線上教室平台。
• 所有文本之用語，將經由「語言學專家」協同確認其正確性。

架構圖：https://drive.google.com/file/d/14Vf66oj-YddIDCuSUPaISdrfapmnTFIq/view?usp=sharing

第三步：將資料集串接LINE bot

將整理好的【LLMezify - 大型語言模型科普公開課資料集】藉由dsr4.ai(RAG 雲服務平台) 串接 LINE bot (LLMezify)，即可應用於對話機器人，提供製作高品質「LLMezify LLM科普公開課」的知識問答服務，讓更多人理解提供高品質正體中文資料的重要性，也讓能越來越豐富。

本資料集除了上傳 hugginface 開源外，亦將同時發佈在 dsr4.ai (RAG 雲服務平台) ，以 OpenAI GPT API，串接 RAG 技術，最後連接 LINE bot 提供製作高品質「訓練用語言資料集」的問答服務。

圖 RAG 運作流程
圖片與說明出處：https://docs.nvidia.com/ai-enterprise/workflows-generative-ai/0.1.0/technical-brief.html

當使用者向大型語言模型提出問題時，人工智慧模型將該查詢發送給另一個模型，該模型將其轉換為數值格式，以便機器能夠閱讀它。這個查詢的數值版本有時被稱為嵌入（embedding）或向量（vector）。然後，嵌入模型將這些數值與可用知識庫的機器可讀索引中的向量進行比較。當它找到一個或多個匹配時，它檢索相關數據，將其轉換為人類可讀的文字，然後傳遞回給大型語言模型。

最後，大型語言模型將檢索到的文字與自己對查詢的回應結合，形成最終的答案，呈現給使用者，可能還引用了嵌入模型發現的來源。

透過線上課程讓更多人提供高品質的正體中文開源資料集，採集LLM的知識外，亦採集人類的對話內容，可以豐富LLM可用的台灣正體中文內容。【LLMezify - 大型語言模型科普公開課資料集】可作為LLM之預訓練資料之一，也可透過 RAG 應用可串接 LINE bot，即可應用於對話機器人，提供教學或商業服務。

要由台灣人編出「教 AI 的台灣教科書」，才能「教出」專屬於台灣正體中文的 AI。

• 推廣 LLM 在台灣的科普知識，讓更多人認識其重要性、養成AI素養。

• 建立、收集 台灣在地的開源訓練資料集，強調用語符合台灣在地化，正確無受簡體中文污染的內容 ** 30分鐘的課程大約產出6000個字，目前線上課程平均47分鐘，可產出約9400個字，20堂課可產出188,000個字。 ** 將所有文本製作成Json檔釋出。 ** 所有文本之用語，將經由「語言學專家」協同確認其正確性。

• 促進不熟悉 AI 的 每個公民、非營利組織、非政府組織，釋放、參與製作高品質的正體中文開源資料集。 ** 截至2024/3/14【正體中文開源資料集社群課程】youtube總觀看2,740人次。【正體中文開源資料集社群課程】FB直播總觀看2,903人次。兩平台影片總觀看5,643人次。 資料截圖 https://drive.google.com/drive/folders/1otgGsQg72Wga1S-9TT3c0ZX4KmFCW7Gd?usp=sharing

/ 本計畫書 GDoc 連結： http://tinyurl.com/4tyf4u5h /

目前已舉辦14堂線上課程，於FB社團及Youtube頻道直播課程。 https://www.youtube.com/playlist?list=PLwoU6GgLn7F8Pish7DP5y_b3CUWW4KTRX

孵大學有豐富的開課經驗 （https://unihub.hfcc.com.tw/ )，2023年中曾籌設過以建築師、室內設計師為主的「生成式AI衝擊建築室內設計工作模式創新 線上論壇」 (https://unihub.hfcc.com.tw/promote/GAI-rocks-Archi-Interior-workflow/ )，2023年底才開始摸索推動和製作AI訓練用資料集的計畫。

• 影片：上架youtube與孵大學線上教室平台免費觀看。
• 講義(CC-BY)：PDF檔(可讓語言模型閱讀) 可供觀看與下載。
• 文本(CC-BY)：TXT檔，上傳hugging face提供下載，上傳dsr4.ai提供下載與串接。

期中目標： 完成20課程線上課程直播(包含已舉辦)，並完成10堂課程重新剪輯上字幕，重新上傳Youtube頻道。

期末目標： 完成20堂課程重新剪輯上字幕，重新上傳Youtube頻道。 並將20堂課程講課內容作為開源文件，直播之文字QA收錄、開源為對話集。 將整理好的【正體中文語言資料集】藉由dsr4.ai(RAG 雲服務平台) 透過RAG技術串接LINE bot

預計時程與工作項目

:::::參看甘特圖：http://tinyurl.com/raus25d2
2月 ~ 5月：20堂線上課程
2月 ~ 5月：完成10部影片剪輯上字幕並完成上傳
4月 ~ 5月：完成剩餘10部影片剪輯上字幕並完成上傳
3月 ~ 6月：20堂課程講課內容作為開源文件，直播之文字QA收錄、開源為對話集。
3月 ~ 6月：語言學家校稿文本用字
6月：RAG技術串接LINE bot
檢核日期：4/30期中、6/30期末

以下是總預算，部份將以自籌與志工的型式參與。

完整計畫執行預算表(含志工參與/自籌部份)：https://docs.google.com/spreadsheets/d/1I1D9j4LL2WCutyNV-sSzct16a7H-kR9Ar6fSN51HP4k/edit?usp=sharing

LLMezify-大型語言模型科普公開課計畫_預算

預算類別	項目	內容	數量	金額	小計
補助款申請	專案執行每月工作費	工作內容 1.安排課程主題 2.與講師確認與溝通 3.課程上架與宣傳 4.課程助教 5.整理文本轉換為資料集	5	38,000	190,000
影片製作	剪輯及上字幕，20集平均30分鐘，剪輯為分鐘計價	600	400	240,000
串接費	串接LINE Bot，平台費用，系統調教與測試	1	50,000	50,000
雜費	郵電費、紙張、資料授權、直播系統訂閱費	1	20,000	20,000
			補助款申請小計	NT$500,000

1. 持續推動舉辦系列教學【供AI訓練用的 正體中文語言資料集如何準備】並將線上課程推到實體課程
2. 具體協助不熟悉 AI 的 每個公民、非營利組織、非政府組織，釋放、參與製作 高品質的正體中文開源資料集。
3. 整理、標註 收集到的開源資料集 (教科書)，並且監督、評鑑 LLM 的台灣繁體中文性能 (LLM學測資料集)。
4. 隨時更新開源資料，讓 LINE bot 可以回答最新的 LLM 科普知識。 願景：促進講好台灣在地文化、在地語言的 AI

FB社團：中華民國台灣開源語言資料集_建立、收集、標註、監督、評鑑

https://www.facebook.com/groups/290103150640341/