携程爬虫——长三角铁路站点通达度分析之班次统计
----------------------------------------------------------------------------------------------------------------------------------------------------------
项目需求:统计给定的141个长三角铁路车站的互通班次数据,分G、D/C、KTZX三类,最终结果用EXCEL表格展示。
项目方法及流程:
(1)Python-Requests爬虫获取某一天的铁路车次数据;
(2)将总车次数据存储进MySQL数据库中,对可能产生的重复数据进行去重;
(3)通过SQL语句查询各站点两两之间的班次数量,以“站点-站点:数量”的键值对形式存进字典;
(4)最后用141行141列的高维数组存储数据,DataFrame转换数组进Excel。
项目主页及源码地址:https://github.com/Owen017/XieCheng-Trains-WebCrawler
----------------------------------------------------------------------------------------------------------------------------------------------------------