
TCC 智慧網頁爬蟲:為繁體中文資料打造的開源框架
提案人 Kyle
智慧網頁爬蟲專案旨在開發一套自動化的網頁爬蟲框架,專為繁體中文資料設計。這套框架將促進高品質繁體中文資料的蒐集與整理,提升資料透明度,並支持各行各業自行蒐集與分析數據,增強資料重用性和長期影響力。
02. 提案代表人
Kyle
03. 提案代表人的 g0v Slack 帳號名稱與成員識別碼
Kyle(U06CRLZTNQ3)
06. 專案於 g0v slack 的頻道名稱
#ai-webcrawler
07. 提案團隊簡介及與主題的相關性
Project Manager
Shelly Wang
- 背景:資訊管理學士,具備 8 年的軟體開發和項目管理經驗。
- 相關經驗:成功領導多個軟體開發項目,專長於跨部門協作和資源規劃。
Python網頁爬蟲工程師
Kyle
- 背景:計算機科學碩士,擁有 5 年的程式開發經驗。
- 相關經驗:專精於 Python 程式設計,具有豐富的網頁爬蟲和數據處理經驗。
測試工程師
Jack Chen
- 背景:軟體工程學士,有 4 年的軟體測試經驗。
- 相關經驗:擅長自動化測試和性能測試,具有多個大型軟體項目的測試管理經驗。
09. 專案符合本次計畫哪些主題:(請勾選至少一項)
繁體中文文本採集,用於語言模型訓練資料
10. 參與梯次
第二梯(2024/02/21 - 2024/03/17)
12. 專案摘要(300字以內)
本專案將開發一套專注於繁體中文內容的自動化網頁爬蟲框架,以支援各種行業進行數據蒐集。透過先進的 AI 技術,此框架能自動識別與抽取網頁內容,並將其結構化,方便進一步的數據分析。此外,框架將設計為易於使用與擴展,以鼓勵開源社群參與改進與維護,確保其永續發展。我們計劃透過清晰的文檔和社群支援,促進技術分享和再利用。
13. 專案動機
隨著數位資訊的爆炸性增長,有效蒐集和分析繁體中文資料變得日益重要。現有的爬蟲工具多聚焦於英文資料,對繁體中文的支援不足。透過開發專為繁體中文優化的爬蟲框架,我們可以填補這一市場空白,支持台灣及其他使用繁體中文的社群。
14. 專案設計概念以及與主題的相符性
本專案將開發一個模塊化、高度可配置的爬蟲框架,支持自動化抽取網頁內容並將其結構化。框架將包括用於繁體中文文本處理的自然語言處理(NLP)工具,以及用於數據清洗和整合的工具。此設計與g0v計畫的重點——透明度、重用性和長期影響——完美契合,旨在為繁體中文數據蒐集設定新的標準。
15. 專案技術可行性
我們計劃使用 Python 語言開發爬蟲框架,並利用其豐富的開源庫支援,如 Playwright、Tavily、Scrapy、BeautifulSoup 和 NLTK 進行文本處理。這些技術的成熟度和社群支援確保了我們專案的可行性。
16. 專案可應用之情境說明
此框架適用於學術研究、市場分析、公共政策制定等多個領域,用戶可以根據需要自定義爬蟲任務,蒐集特定領域或主題的繁體中文資料。
17. 專案預期效益與社會貢獻
此專案將提高繁體中文資料的可訪問性和可用性,促進資料驅動的決策制定,並為學術和商業研究提供豐富資源,從而對社會產生長遠的正面影響。
18. 專案現況說明
已有初版工具開源於 Github : https://github.com/A-baoYang/gpt-crawler-py
並收到過一些 issue 建議,將透過此次專案繼續改良優化。
並收到過一些 issue 建議,將透過此次專案繼續改良優化。
19. 團隊過去是否有做過相關主題的計畫?
團隊成員過去曾為新創、金融集團、醫院及研究機構開發過 RAG 應用及 LLM 微調。曾大規模蒐集醫病問答資料及各項投研報告。
已開源過多種資料集:
20. 開源內容及其授權方式
專案將以 MIT 或 Apache 2.0 授權條款開源,允許自由使用、修改和再發布,鼓勵社群參與和貢獻。
21. 專案期中與期末規劃
- 期中(60天):完成初版框架開發和文檔,進行內部測試。
- 期末(120天):公開發布穩定版,提供完整文檔和使用案例,建立社群支持系統。
22. 專案預算規劃
- 人力資源(開發、測試、文檔撰寫):
- 預算:300,000元
- 說明:包括開發人員、測試人員和技術文檔撰寫人員的薪資,確保專案的技術開發和 文檔質量。
- 硬體與軟體資源:
- 預算:100,000元
- 說明:購買或租賃伺服器、購買軟體授權和開發工具,支援開發和測試活動。
- 社群建設與宣傳:
- 預算:50,000元
- 說明:舉辦線上線下活動,推廣專案,建立並維護開發者和使用者社群。
- 訓練與教育:
- 預算:30,000元
- 說明:提供開發者和用戶的訓練課程和工作坊,增強他們對框架的理解和使用能力。
- 維護與升級:
- 預算:20,000元
- 說明:保證專案在交付後的維護和定期更新,包括修復漏洞、增加新功能等。
23. 專案於計畫結束後之長期規劃
維持社群活躍,定期更新框架以適應技術發展和用戶需求,並擴展功能以支持更廣泛的應用情境。