TCC 智慧網頁爬蟲:為繁體中文資料打造的開源框架

提案人 Kyle
第二梯(2024/02/21 - 2024/03/17)

智慧網頁爬蟲專案旨在開發一套自動化的網頁爬蟲框架,專為繁體中文資料設計。這套框架將促進高品質繁體中文資料的蒐集與整理,提升資料透明度,並支持各行各業自行蒐集與分析數據,增強資料重用性和長期影響力。

02. 提案代表人

Kyle

03. 提案代表人的 g0v Slack 帳號名稱與成員識別碼

Kyle(U06CRLZTNQ3)

06. 專案於 g0v slack 的頻道名稱

#ai-webcrawler

07. 提案團隊簡介及與主題的相關性

Project Manager

Shelly Wang

  • 背景:資訊管理學士,具備 8 年的軟體開發和項目管理經驗。
  • 相關經驗:成功領導多個軟體開發項目,專長於跨部門協作和資源規劃。

Python網頁爬蟲工程師

Kyle

  • 背景:計算機科學碩士,擁有 5 年的程式開發經驗。
  • 相關經驗:專精於 Python 程式設計,具有豐富的網頁爬蟲和數據處理經驗。

測試工程師

Jack Chen

  • 背景:軟體工程學士,有 4 年的軟體測試經驗。
  • 相關經驗:擅長自動化測試和性能測試,具有多個大型軟體項目的測試管理經驗。

09. 專案符合本次計畫哪些主題:(請勾選至少一項)

繁體中文文本採集,用於語言模型訓練資料

10. 參與梯次

第二梯(2024/02/21 - 2024/03/17)

12. 專案摘要(300字以內)

本專案將開發一套專注於繁體中文內容的自動化網頁爬蟲框架,以支援各種行業進行數據蒐集。透過先進的 AI 技術,此框架能自動識別與抽取網頁內容,並將其結構化,方便進一步的數據分析。此外,框架將設計為易於使用與擴展,以鼓勵開源社群參與改進與維護,確保其永續發展。我們計劃透過清晰的文檔和社群支援,促進技術分享和再利用。

13. 專案動機

隨著數位資訊的爆炸性增長,有效蒐集和分析繁體中文資料變得日益重要。現有的爬蟲工具多聚焦於英文資料,對繁體中文的支援不足。透過開發專為繁體中文優化的爬蟲框架,我們可以填補這一市場空白,支持台灣及其他使用繁體中文的社群。

14. 專案設計概念以及與主題的相符性

本專案將開發一個模塊化、高度可配置的爬蟲框架,支持自動化抽取網頁內容並將其結構化。框架將包括用於繁體中文文本處理的自然語言處理(NLP)工具,以及用於數據清洗和整合的工具。此設計與g0v計畫的重點——透明度、重用性和長期影響——完美契合,旨在為繁體中文數據蒐集設定新的標準。

15. 專案技術可行性

我們計劃使用 Python 語言開發爬蟲框架,並利用其豐富的開源庫支援,如 Playwright、Tavily、Scrapy、BeautifulSoup 和 NLTK 進行文本處理。這些技術的成熟度和社群支援確保了我們專案的可行性。

16. 專案可應用之情境說明

此框架適用於學術研究、市場分析、公共政策制定等多個領域,用戶可以根據需要自定義爬蟲任務,蒐集特定領域或主題的繁體中文資料。

17. 專案預期效益與社會貢獻

此專案將提高繁體中文資料的可訪問性和可用性,促進資料驅動的決策制定,並為學術和商業研究提供豐富資源,從而對社會產生長遠的正面影響。

18. 專案現況說明

已有初版工具開源於 Github : https://github.com/A-baoYang/gpt-crawler-py
並收到過一些 issue 建議,將透過此次專案繼續改良優化。

19. 團隊過去是否有做過相關主題的計畫?

團隊成員過去曾為新創、金融集團、醫院及研究機構開發過 RAG 應用及 LLM 微調。曾大規模蒐集醫病問答資料及各項投研報告。

已開源過多種資料集:

20. 開源內容及其授權方式

專案將以 MIT 或 Apache 2.0 授權條款開源,允許自由使用、修改和再發布,鼓勵社群參與和貢獻。

21. 專案期中與期末規劃

  • 期中(60天):完成初版框架開發和文檔,進行內部測試。
  • 期末(120天):公開發布穩定版,提供完整文檔和使用案例,建立社群支持系統。

22. 專案預算規劃

  1. 人力資源(開發、測試、文檔撰寫):
  • 預算:300,000元
  • 說明:包括開發人員、測試人員和技術文檔撰寫人員的薪資,確保專案的技術開發和 文檔質量。
  1. 硬體與軟體資源:
  • 預算:100,000元
  • 說明:購買或租賃伺服器、購買軟體授權和開發工具,支援開發和測試活動。
  1. 社群建設與宣傳:
  • 預算:50,000元
  • 說明:舉辦線上線下活動,推廣專案,建立並維護開發者和使用者社群。
  1. 訓練與教育:
  • 預算:30,000元
  • 說明:提供開發者和用戶的訓練課程和工作坊,增強他們對框架的理解和使用能力。
  1. 維護與升級:
  • 預算:20,000元
  • 說明:保證專案在交付後的維護和定期更新,包括修復漏洞、增加新功能等。

23. 專案於計畫結束後之長期規劃

維持社群活躍,定期更新框架以適應技術發展和用戶需求,並擴展功能以支持更廣泛的應用情境。