windows 7下搭建Scrapy开发环境
前段时间用过php写过爬虫，也抓取过很多的文章。可是每每查询资料的时候，都说python最适合开发爬虫应用，原因是python集成的爬虫框架很强大。于是乎百度了一下，发现Scrapy非常的著名，于是决定在本地搭建一个Scrapy开发环境。早就听说了python环境部署困难，于是我也给自己一个思想准备。于是百度教程，开始吧。
网上的教程虽多，但是发现我进行安装的时候，总是出现这样或者那样的错误。一错就是一大堆，实在是无语。再加上我还不懂这些插件具体的作用，更是无从下手去排查这些错误出现的具体原因。折腾了一上午，最终下载Scrapy，输入命令，提示Scrapy不是内部命令。崩溃啊。。。。没办法，重新来吧。因为我的系统是64位的，我就安装了64位的python应用，后来发现很多人建议使用32位的，说有些插件不支持64位，于是果断卸载64位的，安装32位的。好，现在从安装python开始讲起吧。
本人安装的步骤，主要参考的文章是：http://www.cnblogs.com/pang1567/p/4168768.html，但我与他用的命令不同。
1、安装python 2.7.12 win32 位
去python官网找到对应的版本，下载即可。安装没什么好说的，一路下一步，记住自己安装的路径，接下来需要配置path时用到。我安装在F盘，路径是:F:\Python27
以我的电脑为例 F:\Python27;F:\Python27\Scripts; 我将以上的两个路径加入 电脑的环境变量，这样打开cmd，输入命令 python，如下图显示即为安装成功：
2、安装 lxml
教程的第二步是安装 setuptools，然而这工具在安装python的时候，你只要勾选就会被安装上，此处不需要再次的安装。我们直接跳过安装 lxml。安装这个组件，你可以通过 命令：
pip install lxml
我本地通过这个命令，下载的非常的慢，而且又一次下载完成了，又报出这样那样的错，真是崩溃，于是我找到了另外的替换办法。先去下载
lxml-2.3-py2.7-win32.egg
在这个地址 ：http://pypi.python.org/pypi/lxml/2.3/ 记住你自己的版本，我选择是 32位的，将其放到 python安装的根目录，打开cmd，进入安装目录，执行命令
easy_install ./lxml-2.3-py2.7-win32.egg
安装完毕之后，在python命令下，执行
from lxml import etree
正确导入，即表示安装成功！
3、安装 zope.interface
我是通过命令：
pip install zope.interface
安装成功的，当然了，你也可以去查询有没有集成的exe安装包，这样安装更方便。
4、安装 Twisted
直接去百度这个插件在windows下的.exe的安装包，下载合适的版本，下载即可。我下载的是 Twisted-13.0.0.win32-py2.7.msi，你可以直接百度这个名字，下载即可。
用过如下命令验证安装的正确性：
from twisted.internet import reactor
5、安装pyOpenSSL
你可以通过命令 ： pip install pyOpenSSL 我的依旧是老问题，下载太慢报错。于是我查到了win下面对应的安装包：pyOpenSSL-0.13.winxp32-py2.7.exe ，这个具体的对应的版本我还不是很清楚哪个好，貌似最新的都到16.x了，很多攻略上都说
这个0.13版本，我也用这个吧。验证的命令：
import OpenSSL
6、安装 pywin32
很多的攻略教你安装这个，有的很烦。而且很杂乱。你直接百度 pywin32-218.win32-py2.7.exe，下载下来，一直下一步，就行了。验证命令：
import win32com
到目前为止，Scrapy所需要的组件基本上安装完毕了。这个时候，你可以安装 Scrapy了。命令：
pip install Scrapy
如果你遇到了如下的错误：
error: Setup script exited with error: Microsoft Visual C++ 9.0 is required (Unable to find vcvarsall.bat). Get it from http://aka.ms/vcpython27
因为你本地没有安装 VS2008，高的版本不行，比如你安装了 VS2012。但是VS2008真的很大，要3.xG这么大，网路不够快的话，下的累死你。幸好，微软为python单独弄了一个VCForPython27.msi，安装这个就行了，只有83M的大小。
安装Scrapy完成之后,执行命令：
scrapy
看到如下页面，那么恭喜你，成功了！
为了方便大家的安装，我将我用的文件全部分享到了云盘 ： http://pan.baidu.com/s/1c9ULXG
