Scrapy（爬虫应用框架）安装配置

 

运行平台：Windows 
Python版本：Python3.x 

一、Scarpy 简介

Scrapy是一个为了爬取网站数据提取结构性数据而编写的应用框架，可以应用于数据挖掘，信息处理或存储历史数据等一些列的程序中。Scrapy最初就是为了网络爬取而设计的。

    学习Scrapy，它能我们更好的完成爬虫任务，自己写Python爬虫程序好比孤军奋战，而使用了Scrapy就好比手底下有了千军万马。Scrapy可以起到事半功倍(甚至好几倍*.*)的效果。所以，学习Scrapy也就显得很有必要了。
二、Scrapy安装

1、直接在dos中使用命令‘pip3 install scrapy’，可能会报多种错误，例如图示，就是本人在安装过程中碰到的错误

2、解决方法

查阅了很多网上的资料，是因为直接安装scrapy时，好多库在windows上并没有安装，所以只能一步步安装第三方库了，还好python有很多编译好的第三方库：http://www.lfd.uci.edu/~gohlke/pythonlibs/

安装scrapy需要的第三方库Lxml、Twisted、Scrapy

（1）首先在cmd中输入python，查看自己电脑对应的python版本

 

图上可以看到我自己电脑上安装的是python3.6.0

（2）登录第三方库地址下载对应python版本的Lxml、Twisted、Scrapy文件

Scrapy-1.5.1-py2.py3-none-any.whl

Twisted-18.9.0-cp36-cp36m-win32.whl

lxml-4.2.5-cp36-cp36m-win32.whl

（3）在cmd中输入命令，进入到下载好的whl文件中，安装文件，例如我将三个文件放在‘G:\Scrapy32’中

 

（4）依次执行下列命令

a、pip3 install wheel

b、pip3 install lxml-4.2.5-cp36-cp36m-win32.whl

c、pip3 install Twisted-18.9.0-cp36-cp36m-win32.whl

d、pip3 install Scrapy-1.5.1-py2.py3-none-any.whl

 

这样Scrapy的安装就完成了

(5)Srapy已经安装成功，还要下载pywin32，找到对应版本下载，一路下一步安装即可。安装完成后，就可以正常使用Scrapy了。

 pywin32下载地址：https://sourceforge.net/projects/pywin32/files/pywin32/Build%20220/

  至此，大功告成，我们可以愉快的使用Scrapy了。

 注意：在cmd中输入Scrapy可以查看是否安装完成，很好高兴，我一次安装成功了，如果有warning，查看是那个库没有装，然后使用pip3 install XX（库名）安装即可