獲選提案

智能協同:輔協智能障礙者門市服務之混合實境技能訓練系統

提案人 蔣天誠
獲選新芽團隊

本專案利用混合實境技術,使用 Microsoft Hololens 2 作為學習 輔具,幫助輕度智能障礙學生進行門市服務業的職前訓練。這項技術 提供虛擬環境、即時反饋和反覆練習的優勢,有助於提升學生的學習 動機和學習成效。同時,也有助於克服學生可能面臨的預期失敗的挫 折感,還省去了實際門市的租用、時間、人力等成本。 透過資訊科技輔助教學,能夠提供簡化的刺激環境、即時的回饋 和反覆練習的機會,不僅有助於提高智能障礙學生的學習動機,提升 他們的學習效果,還能為這些學生提供更多就業機會,讓他們更好地 融入社會,實現職業生涯的目標,進而提高輕度智能障礙者的就業參 與率、降低社會失業率。

02.簡單介紹您的提案

本專案利用混合實境技術,使用 Microsoft Hololens 2 作為學習 輔具,幫助輕度智能障礙學生進行門市服務業的職前訓練。這項技術 提供虛擬環境、即時反饋和反覆練習的優勢,有助於提升學生的學習 動機和學習成效。同時,也有助於克服學生可能面臨的預期失敗的挫 折感,還省去了實際門市的租用、時間、人力等成本。 透過資訊科技輔助教學,能夠提供簡化的刺激環境、即時的回饋 和反覆練習的機會,不僅有助於提高智能障礙學生的學習動機,提升 他們的學習效果,還能為這些學生提供更多就業機會,讓他們更好地 融入社會,實現職業生涯的目標,進而提高輕度智能障礙者的就業參 與率、降低社會失業率。

04.專案介紹影片

05.專案團隊討論共筆

06.此專案於 g0v slack 的頻道名稱

07.提案代表人

蔣天誠

08.提案代表人的 g0v Slack 帳號名稱與成員識別碼

蔣天誠 U069BUKKCMN

09.提案團隊簡介

【Long】:

企劃發想: 負責專案的創意和概念發想,確保專案有吸引力和獨特性。
撰寫企畫書: 負責專案文件的撰寫,包括企畫書和相關文件。
簡報設計: 製作專案的簡報,以清晰且有說服力的方式向他人介紹專案。
工程師: 負責系統的後端開發,確保系統的穩定性和效能。
設備測試: 負責測試硬體設備的正常運作,確保系統與設備的協同工作。
企劃整合: 協調各項任務,確保整個專案的順利進行。
海報、前端網頁設計: 負責視覺設計,包括海報和前端網頁的設計。
工程師: 參與系統的開發,可能專注於特定功能或模組。
設備測試: 負責硬體與系統的整體測試,確保系統的穩定性。
資料庫設計: 設計系統所需的資料庫結構,確保資料的有效管理。
API串接: 負責整合不同系統間的API,實現資訊的順暢流通。
【Tian】:

企劃發想: 與Long一同參與專案的概念和創意發想。
撰寫企畫書: 協助企畫書的撰寫,確保文件內容完整且具有說服力。
企劃主講人: 負責專案的宣傳和介紹,可能參與演講和展示活動。

10.提案團隊是否一半以上成員年齡為 20歲以下(含)?

否

11.本專案與哪幾項聯合國永續發展目標 SDGs 相符?(可複選)

SDG 4 優質教育
SDG 10 減少不平等

12.為什麼要做這個專案?(動機)

透過資訊科技輔助教學,將能夠提供簡化的刺激環境、立即的回饋和反覆練 習的優勢,不僅能更容易引起輕度智能障礙學生的學習動機(張英鵬,1993;朱 6 經明、1995),更可以提升他們的學習成效(徐智杰,2002;黃錫昭,2003;張 競文,2006;楊春玉,2008)。為此,本作品希望能運用混合實境技術,並以Microsoft Hololens 2 作為學習輔具,透過虛擬物件操作的回饋,來為輕度智能障礙者提供 身歷其境的門市服務業職前訓練,其中包括了商品處理作業,以及簡易飲料機設 備操作等訓練項目。以混合實境的虛實整合技術來提供職前訓練,透過步驟性的 操作,讓他們可以更容易地學會工作技能,在提升智能障礙學生們學習動機的同 時,也幫助其去除預期失敗的心理障礙。在經濟方面,透過科技減少大量的人力 協助訓練,也因為混合實境的特性,無需借用實際的超商門市,就能進行沈浸式 的職前訓練,有效降低訓練所需的時間與人事成本。因此,我們希望能藉由本作 品,提升輕度智能障礙者們的勞動參與率,將非勞動力轉會為勞動力,進而降低 失業率。

13.請描述此專案使用者的故事,包含使用者身份、使用者遇到的困境、使用動機。

  • 使用者身份:35 歲的特殊教育職業訓練教育人員,工作地點位於都市中的特殊教育學校。

  • 使用者遇到的困境:在進行門市服務技能的職前訓練時,面臨傳統教學方法的限制。一對一指導和實際示範需要大量的時間和人力成本,而且可能無法完全滿足輕度智能障礙學生的學習需求。此外,學生可能面臨學習能力缺陷、失敗預期和習得性無助等心理障礙,這些因素影響了他們的學習動機和成效。

  • 使用動機:特殊教育職業訓練教育人員希望尋找一種更有效率的方法,以提供輕度智能障礙學生更具吸引力和互動性的學習環境。透過混合實境技術,他們希望能夠提供一個模擬門市服務場景的虛擬環境,讓學生在其中進行實際操作和訓練,提高他們的實際經驗。同時,使用混合實境技術還可以降低教學成本,減少時間和人力的浪費。這樣的系統有望提高學生的學習動機,提升他們的門市服務技能,使他們更好地準備面對未來的職業挑戰。

  • 使用者身份:16 歲的智能障礙學童,在特殊教育班級接受教育。

  • 使用者遇到的困境: 學習障礙: 由於智能障礙,學童可能面臨學習障礙,包括智力水平低、學習速度較慢、記憶力較差等。 認知能力差: 學童的認知能力、注意力和集中力可能較差,對於複雜或抽象的概念理解能力有限。 社交參與困難: 由於智能障礙,學童可能在社交參與和人際互動方面遇到一些挑戰,導致他們在團體活動中較難適應。

  • 使用動機: 提升學習興趣: 使用混合實境技術提供的互動性和視覺化元素,有助於提升學童對學習的興趣,使學習變得更加生動有趣。 彈性學習環境: 混合實境系統可以提供更具彈性的學習環境,根據學童的個別需求調整難度和範圍,以確保他們可以更輕鬆地參與學習。 實際操作訓練: 提供模擬門市服務場景的虛擬環境,讓學童可以進行實際操作訓練,提高他們的實踐經驗,為未來生活和職業準備奠定基礎。

14.專案預計提供何種解決方式,並請詳細說明其功能/服務

功能/服務

1. 商品整理模組

  • 虛擬環境呈現: 利用 Hololens 2 頭戴式顯示器,整合影像辨識與空間互動技術,模擬門市服務現場的各種場地,如倉庫和冷藏櫃,以培養商品整理的技能。
  • 步驟引導: 提供不同地點的商品排序步驟,引導學童挑選出過期商品。
  • 個別提示功能: 根據學童需求給予相應的提示,例如紅光或文字提示,以適應不同學習差異。

2. 飲品製作模組

  • 虛擬操作環境: 利用 Hololens 2 呈現虛擬環境,模擬各種飲品的製作場景。
  • 操作實踐: 包括杯子的選配、冰量的調整,以及配料的添加等實際操作,讓學童能夠正確製作符合客人需求的商品。
  • 即時反饋: 提供即時反饋,讓學童了解自己的操作是否正確,並即時進行修正。

3. 即時反饋與錯誤提示

  • 實時檢測: 系統能即時檢測和紀錄學童的答案或操作,提供即時的正確答案或指導。
  • 自我修正: 支援學習者了解自己的錯誤,並即時進行修正,強化學習效果。

4. 網站平台供教育人員使用

  • 數據整合: 架設網站平台,供教育人員透過網頁端協助整合 MR 設備蒐集的數據。
  • 圖形化呈現: 圖形化呈現學童的操作表現,以直觀的方式顯示學習進度和表現。
  • 數據分析和預測: 數據分析和預測功能,協助教育人員更精確地了解學童的訓練成效,進一步優化教學策略。

15.目前已有哪些類似專案?請嘗試分析其不足需優化之處。(若目前無類似專案,請寫「無」)

經過我們的研究,目前市場上尚無針對輕度智能障礙者,開發於門市服務職業訓練的資訊科技教學輔具。這促使我們希望能夠透過資訊科技的優勢,開發出一套具原創性及新穎性的適應性教學輔具,來填補這個空白。本作品將著重於輕度智能障礙者的學習需求,運用混合實境等先進科技技術,來打造一個量身定制的教學環境,進而提升他們的學習成效。相較於其他現有的解決方案,我們的方案更加注重輕度智能障礙者的需求,並將資訊科技和教育領域的專業知識互相結合,打造一個獨特且高效的教學輔具。考量到輕度智能障礙者的個別差異和學習需求,透過適應性教學工具,輕度智能障礙者將獲得更專業和個性化的教育支援,從而提高學習動機和學習成效,並且將有助於輕度智能障礙者更好地融入社會,擁有發展職業生涯的機會,和獲得更多的成就感與自信。

16.綜合以上,請摘要成 200 字左右的段落,說明專案目標、受眾與獨特性:

這個專案的主要目標是透過混合實境技術,以 Microsoft Hololens 2 為輔具,提供給輕度智能障礙學童一個全新的門市服務業職前訓練體驗。我們針對這群學童的學習需求,設計了兩大功能模組,包括商品整理和飲品製作,旨在強化他們的實務操作技能。透過虛擬環境的模擬,學童能在安全、無壓力的情境中學習,同時即時反饋和個別化提示有助於提升學習效果。此專案的受眾為輕度智能障礙學童,特別針對其在門市服務技能上的需求進行量身打造。我們的獨特性體現在將現實門市環境與混合實境技術相結合,提供真實且互動性強的學習體驗,以滿足這群學童的特殊教育需求,並期望提高其職業生涯的自主性與成功參與度。

17.請提供本專案的示意圖或介面設計草圖

18.請列出專案使用到的數位工具及技術/程式語言

HoloLens 2

Microsoft HoloLens 2 為一臺混合實境頭戴顯示器,自身除了搭載數個攝像鏡頭、麥克風及螢幕顯示器,更配有完善的運算處理單元,透過先進的設備與技術支援,實現更精準的手部追蹤、眼球追蹤及語音辨識等功能。HoloLens 2 最大的優勢是適中的大小,能夠讓使用者更方便的攜帶。在配戴 HoloLens 2 時還具有可調節式的設計,加上其合理的配重,讓使用者能夠更舒適、更無負擔的配戴較長時間,而且不需要額外承接厚重的線纜,使用者可以自由地走動。拋下諸多舊有 AR、VR 限制的同時,更是替使用者打造了「沉浸式」的使用環境。

Unity

Unity 是跨平台的 2D 和 3D 遊戲引擎,其應用相當之廣泛,除了遊戲研發之外,還能廣泛用作建築視覺化、即時三維動畫等類型互動內容的綜合型創作工具。微軟推出的「混合實境開發工具組」,提供我們一系列的開發工具,讓我們在系統的開發上更精確且更有效率。

MRTK

Mixed Reality Toolkit(MRTK)是一個開放原始碼的跨平台開發套件,能夠快速創建適用於多種平台的混合實境應用程式,包括 Microsoft HoloLens、Windows Mixed Reality 和 OpenVR。MRTK 提供各種功能和工具,使開發人員能夠輕鬆地將手動追蹤、UI 控制元件等集成到應用程式中,同時支援手勢、語音識別和眼神追蹤等功能,為跨平台系統提供強大的基礎。

Vuforia

本專案結合 Vuforia 和 HoloLens 的相機,利用 Vuforia 輔助空間追蹤功能,降低相機視野內的干擾,實現更穩定的目標追蹤。同時,Vuforia 提供實體物件辨識功能,例如辨識機器、汽車或玩具,用以指引使用者在真實環境中進行更明確的操作。

Visual Studio 2019

Visual Studio 2019 提供了一個強大的開發環境,可以與我們使用的 Unity 無縫整合,讓我們能夠輕鬆的創建 HoloLens 應用程序。但在使用之前,需確保在 Visual Studio 2019 中,已安裝 HoloLens 的工作負載(如:Universal Windows Platform (UWP)、Windows SDK、Visual Studio Tools for Unity 等)。

19.請提供本專案預計開源之軟體套件、授權文件、圖檔等之連結,並標注各自授權方式源之項目

本專案所使用的軟體套件、文件及圖檔等,皆採用以下授權方式:

20.你覺得本專案可能會面臨的困難有哪些?你將如何解決這些困難?

本專案可能面臨的挑戰及解決方法

1. 技術整合挑戰

  • 困難: 整合HoloLens硬體、Unity引擎、MRTK和Vuforia等多種技術,可能面臨相容性和整合的技術挑戰。
  • 解決方法: 建立詳細的技術架構和測試計畫,逐步整合各項技術,進行系統級和單元級測試,確保每個組件的相容性和協同運作。

2. 使用者體驗優化

  • 困難: 提供優良的使用者體驗在混合實境中是一項挑戰,需要克服虛擬和現實世界的交互問題。
  • 解決方法: 進行反覆的使用者測試和反饋,不斷調整界面設計和互動模式,以確保使用者在使用中感到舒適和自然。

3. 硬體效能限制

  • 困難: HoloLens等混合實境裝置的硬體效能有限,可能限制複雜場景和功能的實現。
  • 解決方法: 優化應用程式,針對硬體進行最佳化設計,並在需要時考慮選擇性地降低某些複雜功能以確保順暢運行。

4. 安全和隱私問題

  • 困難: 在使用混合實境技術時,涉及到數據隱私和安全風險。
  • 解決方法: 採取強化的安全措施,例如加密敏感數據、強化身份驗證,並確保符合相關法規和標準,以保障用戶隱私。

5. 成本控制

  • 困難: 開發混合實境應用程式的成本可能相對較高。
  • 解決方法: 制定清晰的預算和開發計劃,優先處理核心功能,利用開源工具和現有資源,以有效控制開發成本。

6. 教育和培訓需求

  • 困難: 使用者,特別是教育機構,可能需要時間和培訓來適應和有效使用混合實境技術。
  • 解決方法: 提供詳細的使用手冊、培訓資源和支援服務,並可能考慮開發簡易的教育課程,以協助使用者更迅速上手。

21.專案目前需要哪些方面的幫助呢?

專案協助需求

1. 技術專業支援

  • 方向: 我們需要在混合實境、Unity開發和擴增實境技術領域的專業支援。
  • 協助內容: 提供建議、最佳實踐、技術指導,協助克服技術上的挑戰。

2. 使用者體驗設計

  • 方向: 專注於混合實境使用者體驗(UX)和使用者介面(UI)設計。
  • 協助內容: 提供設計建議,進行使用者測試,優化界面和互動流程。

3. 資金支持

  • 方向: 資助專案開發、硬體設備購置、使用者測試等。
  • 協助內容: 提供資金支援、尋找資助來源,協助制定預算和資金使用計劃。

4. 行銷與宣傳

  • 方向: 提升專案知名度,擴大用戶基礎。
  • 協助內容: 協助制定行銷策略,提供宣傳資源,協助舉辦推廣活動。

5. 專案管理諮詢

  • 方向: 專案進度、風險管理等方面的專業建議。
  • 協助內容: 提供專案管理諮詢,協助制定計劃和解決管理上的問題。

22.本次專案孵化競賽後,未來可能進一步的發展?

未來發展展望

1. 原型測試與優化

  • 目標: 進行專案原型測試,收集用戶反饋,並根據反饋進行系統優化。
  • 計劃: 定期舉行使用者測試,聚焦於功能易用性、效能優化,確保系統滿足實際需求。

2. 擴展應用場景

  • 目標: 擴大混合實境技術應用範疇,探索更多領域的應用場景。
  • 計劃: 基於現有技術架構,開發新的應用模塊。

3. 合作與整合

  • 目標: 與相關產業、學術機構合作,實現深度整合和資源共享。
  • 計劃: 尋求合作機會,整合外部資源,擴大專案影響力。

4. 商業化推進

  • 目標: 將專案商業化,提供付費服務或產品。
  • 計劃: 制定商業化策略,進行市場調研,發展可持續經濟模型。

5. 國際化拓展

  • 目標: 擴大專案影響力,進軍國際市場。
  • 計劃: 尋找國際合作夥伴,適應國際標準,提升國際競爭力。

6. 深度學習應用

  • 目標: 整合深度學習技術,提升系統智能化水平。
  • 計劃: 研究深度學習在混合實境中的應用,加強系統對用戶行為的理解。

7. 社區參與與開源

  • 目標: 打造開放的社區參與模式,促進專案開源發展。
  • 計劃: 鼓勵社區參與,開源部分模塊,吸引開發者貢獻。

23.你有什麼其他想補充的事情嗎?

正在跟台灣師範大學特殊教育學系合作