对于京东图书名称、价格等多元素的爬取,并带有采集翻页的功能

结合老师的课件以及网上总结的资料,做一些简单的总结:

1.首先需要导入包  from lxml import html ,import requests,import json,然后利用xpath找到书价格的id(找的方式感觉有点凑的样子,多是参考老师给的课件的形式),通过xpath找到书名、价格等元素的信息,此处要仔尝试几次,看看能否达到迅速找到的要求。

2.然后要将需要采集的网页通过requests请求get到,然后用html中的html.fromstring()将page.content解析为tree,利用tree将xapth解析为输出结果。

3.将此问题分解为两大部分,第一是对下一页的采集,然后是对每一页的内容的解析,由于京东的图书价格是利用Ajax方式加载的,所以需要利用开发者模式,找出前边不变的量,然后将id加在后面

 

posted @ 2017-11-15 21:54  Eumendies  阅读(231)  评论(0编辑  收藏  举报