台灣AI教學共創實驗室

林穎俊

林穎俊 U06KD9MCETW

ai-in-education

• 林穎俊： 小學老師，過去一年努力嘗試融入生成式AI於教學中。
• 曾郁珊 Zoey： Independent Project Manager, 公民科技社群貢獻者、web3 獨立研究員
• 審議顧問：
  • TW AI Assembly 工作小組： 由台灣人工智慧學校基金會發起之計畫，此工作小組於 2023 年籌辦四場 AI 民主審議活動，由教育、 LLM 發展、醫學至 web3 領域之討論，期待工作坊成為各方利害關係人討論與交流的場域，盤點現有資源、選擇正確的路徑與目標，透過 AI 實踐多元涵融的價值，運用 AI 而不是為 AI 所用。因此希望透過更系統的方式，進行：議題研析 / 推廣、審議會議 / 多方利害關係人議題工作坊、政策建議以及將成果帶到國際間分享。
• 技術顧問：
  • 吳俊興教授： 國立高雄大學 資訊工程學系 副教授，參與國科會「可信賴 AI （TAIDE）」計畫，並開發
  • 林彥廷： 台灣大學資訊工程學院博士生，Taiwan Llama 開發者。
  • Teemo ： 工程師，台灣人工智慧學校校友，關注台灣大型模型語言發展與治理。 在本提案中擔任技術顧問，協助資料集產製符合訓練或評測所需格式，並且提供抑制偏見、人權、隱私與安全的檢核方法。

Benchmark 台灣觀點的評測
繁體中文特用型語言模型，以法律、醫療、教育為主但不限

第二梯（2024/02/21 - 2024/03/17）

這次的提案我們將專注於「台灣教育現場應用場景」、教育領域的台灣歷史、生活及公民 專項科目產出測試資料集。

目前台灣繁體中文資料集中，教育相關資料屬於稀缺資料。特別是能反映出「台灣教育現場應用場景」，以及「台灣專有的教育內容」的相關資料，更是付之闕如。原因在於這兩類資料無法單純由翻譯國外資料集或採用國內既有題庫生成，而是必須透過教育現場老師的專業與經驗，以及擁有 AI 技術的工程人員協作，才能產出。本計畫將結合兩方的知識和經驗，來產出「台灣教育現場應用場景」，以及「台灣專有的教育內容」的測試資料。並建立擴充資料的機制。
本計畫將延續2023年12月 TW AI Assembly 關於教育主題的討論成果，選定應用場景以及「台灣專有的教育內容」，並由技術顧問

目前的繁體中文測試資料集多是翻譯自國外或是取自台灣各大考試的題庫，這些題目較容易直接被生成式AI推論後通過測驗，故我們希望透過這個專案想生產多輪對話、推理及符合台灣文化的測試題目，例如生活中的注音文有哪些？哪些是貶義？或是當老師在上課時播放電影可能會有什麼問題？或是營養午餐可不可以加香菜？等題目，並且後續可以透過社群延續維護及更新測試資料集

這個專案的設計概念主要是為了解決與教育相關的資料稀缺的問題。這一問題的核心在於缺乏能夠反映台灣教育現場應用場景和台灣專有的教育內容的資料。解決方案涉及利用教育現場老師的專業知識和經驗，結合擁有人工智慧技術的工程師的能力，共同創建一個既反映台灣教育現實又具有可擴展性的教育資料集。此外，計畫也著重於建立一個持續擴充這些資料的機制，保證資料集的生命力和適用性：
透明度（Transparency）：透過結合教育和技術人員的專業，計畫將產生資料的過程進行透明化。對於使用資料的研究者和開發者來說，了解資料來源、生成過程和可能的偏差非常重要，這有助於增加對資料集的信任和可靠性。
重用性（Reusability）：計畫旨在創建一個能夠廣泛適用於不同AI應用的資料集，特別是那些反映台灣教育特色的應用。這不僅限於目前的需求，也考慮到未來可能的擴展和再利用，這樣的設計讓資料集具有高度的靈活性和適應性。
永續性（Long-term Impact）：通過建立一個擴充機制，確保資料集不僅能夠反映當下的教育現場，也能適應未來的變化和需求。這種設計思路有助於實現長期的社會和技術影響，特別是在提升台灣教育相關的AI應用發展上。
這個專案通過解決特定的資料稀缺問題，不僅直接支持了台灣教育的AI應用發展，透過工作坊賦能第一線教育工作者，也體現了對資料集創建和應用過程中透明度、重用性和長期影響的重視。

• 運作 g0v 社群協作平台及公民科技協作方法

  • 建立協作平台及工作架構
  • 邀請技術顧問及種子教師建立題型模板（多選、多輪問答）。
  • 舉辦工作坊，同步協作，建立共識及討論
  • 資料集開源：資料集成果將會CC0開源以供學術研究和教育用途。

• 問答資料，資料採集與取得方式：

  • 題目出題者：由該領域的種子教師、教授及社群專家協助出題，以確保題目的品質和難度。https://ai.edu2.tw/
  • 由技術專家提供現有相關測試資料。

• 兩輪工作坊

  • 共識工作坊：讓參與的專家學者理解計畫的方向、標準及目的，並對整體標準達成共識，並出第一階段的題目數量。
  • 審議工作坊：並透過種子教師、專家學者審議，以確保問題集的一致性和準確性。

• 技術顧問：

  • 建置多模型評測平台 https://ai.edu2.tw/
  • 提供資料實用性的建議意見。
  • 協助資料集開源與上架平台。

本專案預計透過此資料集檢查LLMs是否能夠與台灣文化對齊，也可依據此問題集評估語言模型在台灣實際教學場域的應用

推動生成式 AI 與台灣教育的整合:目前教育界對於使用生成式 AI 仍有許多擔心甚至不知如何開始，這個專案可以幫助老師評估自身場域適合的模型。並透過反映台灣教學現況的基準，使語言模型符應台灣的教學需求。

這個專案將是「以社群驅動的 AI 發展」模式的 POC，我們希望透過這個專案，建立一套可行的模式，使使用者的意見能參與在 AI 的發展過程中，朝向民主化 AI 的理想邁進。

本專案目前為籌備階段，本專案目前無參與其他競賽或是獎助金計畫。

計畫主持人林穎俊老師於 2023 年協助帶領 AI 教育審議工作坊 「生成式 AI 與教師工作的整合」，該工作坊專注於探索生成式 AI 工具如何協助目前教師之教學場景，並專注於聆聽教師之分享與回饋。今年預計將以去年工作坊之討論成果作為基礎，將台灣教師之現有工作更細緻的拆解後，逐一檢視 AI 是否可以實質上協助教師提高產出及達到更好的教學品質。

本專案產出之指引、訓練資料集、測試資料集將以CC0, CC-BY 或 MIT 授權釋出，具體授權將依產出結果決定，選擇最有影響力的方式。

https://docs.google.com/spreadsheets/d/1d3Hc7KCdltS4ttBQPPZjF18wv8xbuJ0NDbRFE7ZijiM/edit#gid=1470414517

https://docs.google.com/spreadsheets/d/1d3Hc7KCdltS4ttBQPPZjF18wv8xbuJ0NDbRFE7ZijiM/edit#gid=0

本計畫結束一年內預計培育教育測試資料集與教育AI社群，由參與本計畫的教師開始，建立以教育者為主體的教育 AI 社群。促成社群驅動的測試資料集開發及教育AI應用，使AI應用能符合台灣文化。