Python爬虫进阶三之Scrapy框架安装配置
初级的爬虫我们利用urllib和urllib2库以及正则表达式就可以完成了，不过还有更加强大的工具，爬虫框架Scrapy，这安装过程也是煞费苦心哪，在此整理如下。
Windows 平台：
我的系统是 Win7，首先，你要有Python，我用的是2.7.7版本，Python3相仿，只是一些源文件不同。
官网文档：http://doc.scrapy.org/en/latest/intro/install.html，最权威哒，下面是我的亲身体验过程。
1.安装Python
安装过程我就不多说啦，我的电脑中已经安装了 Python 2.7.7 版本啦，安装完之后记得配置环境变量，比如我的安装在D盘，D:\python2.7.7，就把以下两个路径添加到Path变量中
|
1
|
D:\python2.7.7;D:\python2.7.7\Scripts
|
配置好了之后，在命令行中输入 python –version，如果没有提示错误，则安装成功
2.安装pywin32
在windows下，必须安装pywin32，安装地址：http://sourceforge.net/projects/pywin32/
下载对应版本的pywin32，直接双击安装即可，安装完毕之后验证：
在python命令行下输入
import win32com
如果没有提示错误，则证明安装成功
3.安装pip
pip是用来安装其他必要包的工具，首先下载 get-pip.py
下载好之后，选中该文件所在路径，执行下面的命令
|
1
|
python get-pip.py
|
执行命令后便会安装好pip，并且同时，它帮你安装了setuptools
安装完了之后在命令行中执行
|
1
|
pip --version
|
如果提示如下，说明就安装成功了，如果提示不是内部或外部命令，那么就检查一下环境变量有没有配置好吧，有两个路径。
4.安装pyOPENSSL
在Windows下，是没有预装pyOPENSSL的，而在Linux下是已经安装好的。
安装地址：https://launchpad.net/pyopenssl
安装不上可以用：pip install pyOpenSSL cryptography 如果访问不了可以用pip install pyOpenSSL cryptography -i http://pypi.douban.com/simple
5.安装 lxml
lxml的详细介绍 点我 ，是一种使用 Python 编写的库，可以迅速、灵活地处理 XML
直接执行如下命令
|
1
|
pip install lxml
|
就可完成安装，如果提示 Microsoft Visual C++库没安装，则 点我 下载支持的库。
6.安装Scrapy
最后就是激动人心的时刻啦，上面的铺垫做好了，我们终于可以享受到胜利的果实啦！
执行如下命令
|
1
|
pip install Scrapy
|
pip 会另外下载其他依赖的包，这些就不要我们手动安装啦，等待一会，大功告成！
7.验证安装
输入 Scrapy
如果提示如下命令，就证明安装成功啦，如果失败了，请检查上述步骤有何疏漏。
Linux Ubuntu 平台：
Linux 下安装非常简单，只需要执行几条命令几个
1.安装Python
|
1
|
sudo apt-get install python2.7 python2.7-dev
|
2.安装 pip
首先下载 get-pip.py
下载好之后，选中该文件所在路径，执行下面的命令
|
1
|
sudo python get-pip.py
|
3.直接安装 Scrapy
由于 Linux下已经预装了 lxml 和 OPENSSL
如果想验证 lxml ，可以分别输入
|
1
|
sudo pip install lxml
|
出现下面的提示这证明已经安装成功
|
1
|
Requirement already satisfied (use --upgrade to upgrade): lxml in /usr/lib/python2.7/dist-packages
|
如果想验证 openssl，则直接输入openssl 即可，如果跳转到 OPENSSL 命令行，则安装成功。
接下来直接安装 Scrapy 即可
|
1
|
sudo pip install Scrapy
|
安装完毕之后，输入 scrapy
注意，这里linux下不要输入Scrapy，linux依然严格区分大小写的，感谢kamen童鞋提醒。
如果出现如下提示，这证明安装成功
|
1
2
3
4
5
6
7
8
9
10
11
12
13
14
|
Usage:
scrapy <command> [options] [args]
Available commands:
bench Run quick benchmark test
fetch Fetch a URL using the Scrapy downloader
runspider Run a self-contained spider (without creating a project)
settings Get settings values
shell Interactive scraping console
startproject Create new project
version Print Scrapy version
view Open URL in browser, as seen by Scrapy
[ more ] More commands available when run from project directory
|
截图如下
如有问题，欢迎留言！祝各位小伙伴顺利安装！
转载请注明：静觅 » Python爬虫进阶三之Scrapy框架安装配置
---------------------------------------------------------------------------------------------------------------------------------------------------------
下面是另一篇博文，可能能用上
最近想研究一下python的爬虫，网上查找了一下资料，scrapy是python爬虫中比较牛b的存在，经过确认，确实是比较"牛B"，安装这个scrapy库实在是"牛B"的可以了，前后折腾过不下10次去研究安装方法，终于搞定了，共享一下，免得兄弟们走弯路。
首先说说安装过程中遇到过的问题吧：
1、error: Unable to find vcvarsall.bat
这个错误是因为python需要Vs2008的编译环境，如果你的电脑里没有安装的话就会报这个错误。
针对这个问题，网上的方法大多都是安装vs2008/2010等或者是使用MinGW来代替默认的编译环境，改用gcc，这个我已经实验过，反正我是没有成功，尤其是MinGW的那个下载速度让我受不了，为了这个我折腾了近1下午。
2、msvc9compiler.py: ValueError: [u'path']
关于这个错误是因为默认情况下vs2008 express版本没有x64位的编译环境导致的，需要安装x64位编译环境。
解决办法是使用vs2008的pro版，并且安装的时候选择64位编译工具。。
下面给出我经过多次实验可成功安装的方法，以下步骤在win7 64位和python 2.7.8中测试成功。
详细安装步骤：
1、安装python 2.7X MSI安装包,目前2.7系列最新版为2.7.8
32位系统：
https://www.python.org/ftp/python/2.7.8/python-2.7.8.msi
64位系统：
https://www.python.org/ftp/python/2.7.8/python-2.7.8.amd64.msi
2、把python安装目录下的Scripts目录加入到环境变量path中
3、安装setuptools，python的自动安装工具
https://bootstrap.pypa.io/ez_setup.py
然后使用easy_install安装pip安装工具:
easy_install pip
安装pycrypto，pywin32这个请使用下面的编译版本：
http://www.voidspace.org.uk/downloads/pycrypto26/pycrypto-2.6.win32-py2.7.exe
http://www.voidspace.org.uk/downloads/pycrypto26/pycrypto-2.6.win-amd64-py2.7.exe
4、下载Visual C++ 2008 Express Edition版并安装
关于vs2008的版本选择，我这里纠结了很久，最后选择了Expression版本，这个版本的特点是安装包相对比较小一点，比起pro版本来说安装速度快了不少，而且安装的程序也相对较少。关于上文提到的没有64位编译环境，我没有处理，我使用了一种取巧的方式安装成功了。
这个版本安装完成后建议大家去微软注册一下，这是免费注册的，填一个表即可。
安装文件大家请在360软件管理中搜索Visual C++ 2008 Express或者下载本文附件中的文档，我有打包给大家。
5、使用easy_install安装如下包
easy_install cssselect lxml queuelib six twisted w3lib zope.interface
这些包主要是安装scrapy时的一些依赖包。。
6、使用pip安装如下包
pip install pyOpenSSL cryptography cffi pycparser
为什么不用easy_install安装这4个包呢？因为会报[u'path']错误，所以请严格按我的来。
这里注意一下，如果是太老的pip安装失败，请更新到最新的pip版本再试
7、使用easy_install安装scrapy
easy_install scrapy
上面依赖关系已经解决了，所以这个时候你就可以随便的安装了。。。
8、如需卸载scrapy，请执行如下命令：
pip uninstall cffi cryptography cssselect lxml pycparser pyopenssl queuelib six twisted w3lib zope.interface scrapy
9、最近推荐老外写的一个python安装scrapy指导文档
这个文档给了我很多的答案，总结了安装scrapy中遇到的各种问题。
文件所有工具打包下载：
参考网址：
http://f.dataguru.cn/thread-160932-1-1.html
http://www.crifan.com/while_install_scrapy_error_unable_to_find_vcvarsall_bat/
http://www.biaodianfu.com/install-scrapy-on-windows.html
http://www.cnblogs.com/zhxhdean/p/3580224.html
http://mozillazg.com/2013/06/python-Windows-x64-compile-c-valueerror-path.html
