关于scrapy

Scrapy安装

1，Pip install wheel

2，pip install 复制路径+文件名Twisted-18.7.0-cp36-cp36m-win_amd64.whl

3，Pip install scrapy

https://germey.gitbooks.io/python3webspider/content/1.8.2-Scrapy%E7%9A%84%E5%AE%89%E8%A3%85.html

4 出win7api的加   pip install 复制路径+文件名pywin32-223.1-cp36-cp36m-win_amd64.whl

 

创建项目

 

1，scrapy startproject scrapy_project

 

创建spider,

2，cd scrapy_project

 

3，scrapy genspider bole jobbole.com

#bole jobbole.com 一个是文件名 一个是网站名

 

创立一个文件夹 main  里面

from scrapy.cmdline import execute
execute('scrapy crawl bole'.split())

#bole是文件名 

 

setting 里面的Trun改成False

 

通过xpath获取内容, xpath返回的元素内容是selector:

zan = response.xpath('//h10[@id="89252votetotal"]/text()').extract_first()