王健安

王健安/U06PXJG8EEN

飲食照護大小事諮詢小幫手

本團隊來自 H.I.T. 生醫創新實作社群，社群宗旨在於培育生醫創新人才、國內外NGO組織的橋樑，團隊成員來自不同產業、不同領域，除工研院資通所的胡翔崴博士、金門大學工業工程與管理學系吳佳駿副教授、美國德州大學安德森癌症醫學中心謝岡霖研究員作為本專案顧問外，也有來自 Laplace AI、台灣大哥大、翔安生醫、食藝餐飲等眾多技術長、工程師、專案經理等成員，龐大、多樣又專業的背景讓本團隊更有信心能創造絕佳的成果。

繁體中文文本採集，用於語言模型訓練資料
繁體中文特用型語言模型，以法律、醫療、教育為主但不限
繁體中文為主的開源模型

第二梯（2024/02/21 - 2024/03/17）

無

在慢性病流行之現代社會中，飲食對人體健康佔有非常重要的影響，特別在疾病預防及高齡族群需求規模大；然而當大眾對食物中各種成分、營養及其對人體影響相關知識模稜兩可，現行市面的食物偵測衛教照護系統，難以達到個人化的回應以及跨科別專業建議，因此本專案期望結合不同大型語言模型各自擅長之結構，搭配已經被定義好的中文詞彙，跨科別的飲食照護文章資料，重新建構新的大型語言模型，並以食物、營養與飲食策略為基底，期望建立一個方便性高， 與臨床實際回覆的相似的飲食大小事諮詢小幫手。

在慢性病昌盛、個人健康意識抬頭的現今社會中，「預防勝於治療」觀念已逐漸被大眾接受，為了遠離各種疾病而開始執行許多對健康有益之行為，諸如：健身、減肥等，然而對於健康也具重大影響力的「飲食」層面，卻受到外食、加工食品等因素，往往無法控制與保障安全性與信任度，其中對每項食品內含之成份更是渾然不知，儘管已經非常注意攝入的每項食物，卻依舊可能受限於對食品成份的專業知識，因此本研究期望解決一般民眾透過大型語言模型技術，快速得知每項食品成份及其對人體的影響，不僅減少查詢、閱讀與彙整時間，也預期達到掌握自身健康的目的。

1. 模型可回應使用者每項食品成分的詳細內容，包含內容物描述、熱量與各項營養指標，進一步對人體的影響
2. 模型能說明中、西醫學等不同領域各種飲食法或飲食配方，讓使用者認識更多多樣性的飲食策略
3. 模型可根據使用者熱量與各項營養需求，計算應攝入的總熱量、各項營養的克數或份數
4. 藉由拍照功能輸入食品包裝上羅列之食品成分表，模型快速解析成文字後回覆使用者對人體健康的優劣度

GPT 系列與 Gemini 模型架構皆已透過技術報告、社會認可證實其在多輪對話能力之強大，技術細節可透過文獻略知一二；而 Llemma 在研究中也被證實超過多數開源大型語言模型，也提供原始程式碼供開發者參閱，而本研究將同時納入兩種不同優點的模型，重新訓練出一個同時兼具優良多輪對話與數學運算的大型模型，因應上述模型皆釋放模型架構或原始程式碼，本團隊依照過去經歷也有實力完整重現，因此具備高技術可行性之條件。

當具備健康意識、欲進行飲食調控與飲食習慣改善之大眾想透過飲食達到更健康，卻不知道該如何下手或礙於資訊繁多難以選擇時，只需要給予模型人口學資訊（例如：年齡、性別、過去飲食習慣、過去病史、家族病史、近期是否有不舒服之現象等），以及期望達到什麼目標（例如：養生需求、健身需求、減肥需求等）時，模型可給予使用者不同且多樣的飲食方針推薦、計算每日熱量及其各項營養指標份數或公克數；進一步面臨食品、食物選擇時，只要提供食品成分，不論是拍照、文字輸入或語音輸入模式，模型即可分析該食物對使用者健康利弊進行分析，以保障使用者攝入符合健康目標的食物。

本研究期望提供關注飲食健康之民眾方便性高且內容正確性高的大型模型，讓民眾不受限於食品成分、營養成分等專業知識，忽視或忽略對健康的重視與照顧。

本團隊於 2024-01 組成「H.I.T. 醫療AI 百位人才培育計畫」之 LLM Foundation 研討與讀書會，在顧問指導下，除了解大型語言模型訓練技巧外，已經進入食物成分、營養指標與飲食方針等網路爬蟲與資料蒐集並完成約略 40% 階段，另外文本之資料前處理也已完成約略 20%。

• 已獲得 8篇AIoT專利及 20篇 研討會與期刊論文、經濟部AIGO及數位發展部AI鬥智競賽 佳作及優等獎，包含：2023年 於工研院 主持執行完成 兩項 生醫大型語言模型技術計畫 包含 尿液快篩個人化照護系統 、眼球追蹤回饋刺激系統 ，運用生醫感測資訊結合大型語言模型執行個人化衛教建議，其成果IEEE 研討會論文投稿中， Optimizing Patient-Manager Interactions in Chronic Care Using Generative Artificial Intelligence QA Dialogue Systems 詳述如下：
  1. 精準健康整合型尿液快篩與個人化照護系統計畫
     1. 馬桶上的智能檢測裝置，自動偵測多項參數，參數包括膽紅素、白血球、葡萄糖等，以大型語言模型針對偵測結果進行推薦照護，助於健康評估和早期發現疾病，以生成式AI 個人化健康照護計畫，提高遠距臨床照護效益與生活品質。
     2. 用7萬筆衛教資料進行大型語言模型微調以及RAG設計，評測50題健康照護QA問答，已完成10位臨床專家評測平均可靠度達9分，滿意度達8.4分(滿分10分)。其LLM輸出成果，專業可靠度達 90分以上網頁與Line ChatBot介面呈現，提供衛教QA問答，可自動產出健檢報告與推薦照護服務，將於2024年醫學中心IRB合作導入確認效益，並將其成果發表期刊及專利申請中，有3家廠商健康照護廠商有意願後續合作
  2. 眼球追蹤與刺激認知服務平台
     1. 眼球追蹤辨識和失智人臉特徵擷取，透過眼動模式分析，並建立94%準確度的認知功能辨識模型，結合失智症刺激回饋平台，運用失智症個人化背景參數，開發生成式AI推薦模型擬定出照護計畫
     2. 運用光刺激、飲食與認知訓練100篇衛教資料作為大型語言模型微調及RAG技術，建立10位標準化病患，經10位臨床專家評測，臨床評測後專業性達90分及易讀性達88分，組成光學偵測與網頁互動系統介面可供醫院與社區進行評測，預計申請臨床試驗導入使用與發表期刊及專利申請中，有2家長照失智領域廠商有意願後續落地。
• 2024年 持續執行工研院三項生成式AI 前瞻科專計畫 包含 牙科大型語言模型衛教照護、藥物研發化合物生成及腦刺激回饋系統，擴及到3D影像生成及化合物序列生成。

• OpenAI GPT (Generative Pre-trained Transformer)： MIT License。
• Llemma：MIT License (https://github.com/EleutherAI/math-lm)。
• LINE Bot SDK GitHub 授權方式：MIT License (https://github.com/line/line-bot-sdk-python)。
• 各醫院、雜誌衛教文章與影片：皆已包含 CC 授權標章。

期中規劃

1. 資料蒐集與網路爬蟲：從各醫院、各期刊雜誌發表之與營養健康有關係的文章、影音，獲取大量與食品營養有關之文字內容，其中影音則透過「語音轉文字」技術（例如：Whisper）獲取更口語化的文字內容。
2. 資料前處理：根據政府機關發布之食品成份清單、與食品營養相關之學科參考書籍，建立台灣專屬用於自然語言處理之字典，結合其他大型模型或預訓練模型文字字典後，產生可被大型模型接受之資料型態。
3. 模型架構改良：除將以 Transformers 為基底之 GPT 系列模型以及 Llemma 模型架構結合外，本研究也建立出屬於台灣專屬之食品營養成份字典，以利模型學習專屬之詞嵌入向量。
4. 模型訓練：除透過基礎之梯度下降法 (Gradient Descent) 進行模型訓練外、必要情況下將搭配強化學習 (Reinforcement Learning; RL) 加強模型預測品質。

期末規劃

1. 模型訓練演算法更新與改良：經文獻回顧並改良或飲用已開發完成的演算法，以利增加模型回應內容品質
2. 聊天機器人建置：使用者可透過 LINE BOT 與模型進行食品營養健康相關對話
3. 對話品質測試：公開聊天機器人並給予大眾測試，根據測試結果（包含成分分析正確性、熱量計算正確性、使用者對飲食方針推薦滿意度等）

• API 請求費用 (OpenAI, Gemini 等)
  • 說明： 用於資料集擴展
  • 預算： 50,000 新台幣
• 開發與運維預算 - 以台智雲為主
  • 說明： 伺服器、GPU、儲存和頻寬、數據處理、訓練等
  • 預算： 350,000 新萬台幣
  • 參考文件：https://docs.twcc.ai/docs/pricing/#%E9%AB%98%E9%80%9F%E9%81%8B%E7%AE%97%E6%9C%8D%E5%8B%99-high-performance-computing-hpc

將模型佈署至網頁、聊天機器人後，除與合作醫師、健康管理師試用並評估成效外，也曝光於社會大眾測試模型回應品質好壞，未來除了發表學術文獻外，也期望以模型為技術亮點並取得發明專利。

本團隊於 2024-01 組成「H.I.T. 醫療AI 百位人才培育計畫」之 LLM Foundation 研討與讀書會，旨在訓練專屬於台灣的繁體中文大型語言模型，至今已有 23 位成員且每週舉行以技術為核心的討論會；本社群在過去已深耕智慧生醫領域多年，在謝顧問與眾多投資人訪談中發現預訓練等技術人才在海外非常稀缺，也才開設本計畫。

HIT 生醫創新實作社群 ：https://www.facebook.com/HITBioMed