爬取淘宝iPad前100页商品

需求:爬取淘宝iPad前100页商品

分析:分析网页是动态渲染的无法用普通的方法爬取

方法:

1、查看网页源码发现g_page_config这个包含了商品信息,用正则可以爬取,具体方法省略

2、可见即可爬:selenium+chrome(PhantomJS)

 

posted @ 2018-11-30 21:54  起航追梦人  阅读(306)  评论(0编辑  收藏  举报