怎么在32位windows系统上搭建爬虫框架scrapy?
禁止转载:
自学python,然后搭建爬虫框架scrapy。费了我一上午的心血。终于搭建成功,以防以后忘记搭建流程,特此撰写此贴,开写
***************************************************************************************************************
首先安装python,我安装的是python2.7.12,安装在F:\python2.7.12,资源自行下载。由于在安装python的时候,会自动安装pip这个python管理工具,不要管pip的安装.你只要一步步安装就可以了。
接下来就是在cmd中能运行python,所以要进行环境变量的配置:
在path路径中加上:
";F:\python2.7.12;F:\python2.7.12\Scripts\"
这是我的path路径:C:\ProgramData\Oracle\Java\javapath;
%SystemRoot%\system32;
%SystemRoot%;
%SystemRoot%\System32\Wbem;
%SYSTEMROOT%\System32\WindowsPowerShell\v1.0\;
%JAVA_HOME%\bin;
%CATALINA_HOME%\lib;
E:\mysql-5.6.24-win32\bin;
F:\mongodb2.6.9\bin\;
F:\python2.7.12;
F:\python2.7.12\Scripts\(一定要配置好Scripts)
可以根据自己的安装目录进行配置,不要盲目效仿。配置好以后,打开cmd窗口,输入python,然后就可以获得python的版本号,说明安装成功
那么怎么知道python管理工具pip是否装好,可i以在cmd中输入pip,可以运行说明成功,这一部分可以参考网上很多教程
*********************************************************************************************************
接下来就是爬虫框架scrapy的安装:
1、安装setuptools
打开,cmd窗口,输入pip检查pip是否安装成功,成功后,然后输入:
pip install setuptools
观察cmd窗口,如果出现Successfully installed setuptools说明安装成功。
2、安装lxml
本来以为输入下面这个命令,就能顺利安装成功但是出现了问题:
pip install lxml
这一步,耗费了我一个多小时,安装出现了问题,如:
fatal error: 'libxml/xmlversion.h' file not found
在网上各种找原因,有大神是说没安装libxml2-devel and libxslt-devel,和没有安装 libxml2和 libxslt文件。其实报错原因中也说明了没有安装好 libxml2
各种解决方案,但是找了很久,试了很多种方法,最终我就参考了
http://coding.derkeiler.com/Archive/Python/comp.lang.python/2012-11/msg00520.html
http://www.lfd.uci.edu/~gohlke/pythonlibs/#lxml(很多python依赖的库资源下载)
http://jingyan.baidu.com/article/cbcede07177b8702f40b4df9.html
最后解决了问题,解决步骤如下:
1)、首先安装wheel,确定安装成功:
pip install wheel
2)、下载依赖库,可以在http://www.lfd.uci.edu/~gohlke/pythonlibs/#lxml中下载
- lxml-3.6.4-cp27-cp27m-win32.whl(python2.7版本,适用于windows32位系统)
- lxml-3.6.4-cp27-cp27m-win_amd64.whl(python2.7版本,适用于windows64位系统)
然后,把下载好的依赖文件放在python的安装包中,我的是放在F:\python2.7.12中
3)、开始安装lxml
pip install F:\python2.7.12\lxml-3.6.4-cp27-cp27m-win32.whl
然后就安装成功了
3、安装zope.interface
pip install zope.interface
这一步没有遇到问题
4、安装Twisted
安装Twisted出现了问题:参考文档python2.7安装Twisted报Microsoft Visual C++9.0 required然后解决了
pip install Twisted
5、安装pyOpenSSL
pip install pyOpenSSL
6、安装win32py
这一部卡住了,原来http://www.cnblogs.com/pang1567/p/4168768.html这个帖子,没有win32py这个文件,其实是安装pypiwin32
pip install pypiwin32
7、安装Scrapy
pip install Scrapy
终于到了激动人心的时候了!安装了那么多小部件之后终于轮到主角登场。然后就显示安装成功了
直接在cmd中输入Scrapy
回车即可。大功告成了啊。so happy
参考贴:
http://coding.derkeiler.com/Archive/Python/comp.lang.python/2012-11/msg00520.html
http://www.lfd.uci.edu/~gohlke/pythonlibs/#lxml
http://jingyan.baidu.com/article/cbcede07177b8702f40b4df9.html
http://www.cnblogs.com/pang1567/p/4168768.html
http://stackoverflow.com/questions/26669972/install-pywin32-with-pip-in-windows-7-does-not-work-in-python-3-4-2
python2.7安装Twisted报Microsoft Visual C++9.0 required