windows配置Scrapy爬虫框架

一、环境

 

Windows10 64位

Python2.7.13 64位

下面的安装步骤最好配置代理，可能会遇到被墙的情况。

 

二、Python的安装

 

可以去参考这篇文章:http://blog.csdn.net/u011781521/article/details/53909151

 

三、Scrapy依赖项的安装

 

Scrapy的依赖项可以在这里进行下载：http://download.csdn.net/detail/u011781521/9814971

 

 

安装以下依赖,也可以通过pip进行安装（这里最新版的Python2.7.13安装好后会有pip安装方式直接通过pip命令即可安装最新版的库）:

 

安装lxml-3.2.4.win-amd64-py2.7.exe
安装pywin32-218.win-amd64-py2.7.exe
安装Twisted-13.2.0.win-amd64-py2.7.exe
安装pyOpenSSL-0.13.1.win-amd64-py2.7.exe
安装zope.interface-4.3.3.win-amd64-py2.7.exe(https://pypi.python.org/pypi/zope.interface#downloads)
安装MySQL-python-1.2.3.win-amd64-py2.7.exe(非必须)

安装PIL-fork-1.1.7.win-amd64-py2.7.exe python图片库

 

上面的安装步骤很简单,下一步下一步就行了，安装之后验证scrapy依赖项是否安装成功的方法：

 

cmd执行python进入python控制台

● 执行import lxml，如果没报错，则说明lxml安装成功。
● 执行import twisted，如果没报错，则说明twisted安装成功。
● 执行import OpenSSL，如果没报错，则说明OpenSSL安装成功。
● 执行import zope.interface，如果没报错，则说明zope.interface安装成功。

 

四、安装Scrapy

 

方法1： 控制台输入：pip install scrapy（下载较慢，安装的是最新版的Scrapy尽量安装最新版的好处不必多说）
方法2： 去官网下载解压，然后在其目录下执行$ python setup.py install进行Scrapy的安装。

 

这里采用第一次方法进行安装:

 

 

检查Scrapy是否安装成功的方法：可以在cmd控制台执行 scrapy  version,如果没有报错，说明安装成功。