《大學排名與熱門領域討論站》
主題:《大學排名與熱門領域討論站》
專題程式連結:LATIA112-1-Finial-Project
網頁Demo影片:
專題講解影片:
內容說明:
本專題為臺師大「學習分析工具實務應用」課程期末小組專題之成果,並於後續投稿了「臺師大教育數據啓航創意競賽-實踐創作組」,最終晉級決賽並獲得佳作。
本網站目的為解決網路上大學排名與領域趨勢雜亂、資料不易比對之問題,以利學生客製化並省時選擇未來目標。特色功能有:使用者創建帳號後,可透過互動圖表自定義交叉比較,並收藏最愛,更設有討論串促進資訊交流。
實做摘要:
使用爬蟲技術(Selenium、Scrapy)將大學排名網站的資料與論文刊登數爬下來。
將有缺失與干擾判讀的資料清洗並正規化。
將正規化後的資料存放進資料庫,以便後續使用語法與 API 取出對應資料。
將取出的資料透過視覺化工具呈現。
視覺化的呈現需要有互動增減欲觀察資料、加入最愛等功能,以利客製化與可重複使用性。
負責內容:
使用 Python3 爬蟲技術爬取 Top University 與 Arxiv 資訊。
將爬取後的資料進行清洗與正規化。
技術:
- Python3:主要使用語言。
- Web Crawler:使用了 Selenium 與 Scrapy 進行爬蟲。
- Data Cleaning:使用 pandas 進行資料清洗。