Day6-爬取数据 selenium+geckodiver模拟页面点击onclick

信件列表_首都之窗_北京市人民政府门户网站（http://www.beijing.gov.cn/hudong/hdjl/com.web.search.mailList.flow）的  页面  

打开  审查元素 会发现  页标的href  隐藏在 onclick中  但是没有办法读取

我们就利用geckodiver  +firefox  模拟网页点击  来实现页面之间的切换

selenium 是模拟网页   很多网页会防止爬虫   （不要被网页发现  我们是人）

 

爬取数据两分钟  约两千条：

后面是利用 hive  +sqoop +MySQL

完成数据处理 ：