爬虫-Scrapy框架

什么是Scrapy框架:Scrapy是一个Python爬虫框架，非常适合做一些大型爬虫项目，并且开发者利用这个框架，可以不用过多的关注细节。

Scrapy的官网地址：http://scrapy.org/

安装Scrapy框架及各种常见错误解决技巧：

少坑版安装方式：由于Scrapy框架涉及太多依赖库，在此，如果想省事的朋友，可以按照这种方式去安装。如果想了 解具体过程的朋友，可以先安装pip install scrapy，然后遇到错误参加后面的方式解决。

接下来讲解少坑安装方式。

0、开个VPN或者采用本地安装方式 1、首先，升级pip：

python -m pip install --upgrade pip 2、安装Visual Studio 2015专业版，去 http://download.microsoft.com/download/B/8/9/B898E46E-CBAE-4045-A8E22D33DD36F3C4/vs2015.pro_chs.iso下载

3、安装lxml---去http://www.lfd.uci.edu/~gohlke/pythonlibs/

找“lxml-”、pip install wheel、pip install lxml-3.6.4-cp35-cp35m-win_amd64.whl

4、pip install scrapy或pip install scrapy==1.1.0rc3