携程爬虫——长三角铁路站点通达度分析之班次统计

----------------------------------------------------------------------------------------------------------------------------------------------------------

项目需求:统计给定的141个长三角铁路车站的互通班次数据,分G、D/C、KTZX三类,最终结果用EXCEL表格展示。

项目方法及流程:

(1)Python-Requests爬虫获取某一天的铁路车次数据;

(2)将总车次数据存储进MySQL数据库中,对可能产生的重复数据进行去重;

(3)通过SQL语句查询各站点两两之间的班次数量,以“站点-站点:数量”的键值对形式存进字典;

(4)最后用141行141列的高维数组存储数据,DataFrame转换数组进Excel。

项目主页及源码地址:https://github.com/Owen017/XieCheng-Trains-WebCrawler

----------------------------------------------------------------------------------------------------------------------------------------------------------

 

posted @ 2020-07-05 19:28  hsh#17  阅读(325)  评论(0编辑  收藏  举报