爬虫的框架Scrapy安装
爬虫的框架Scrapy安装
我们都知道python的一大利器就是爬虫,简介的代码,和非常牛的异步网络请求框架Twisted,所以了。
但是在学习的时候安装scrapy出现的各种问题,今天就来总结一下如何安装。
安装Python
1.首先环境是python2.7,个人用的是32位的(因为是win10环境开发,安装lxml的时候不识别64位)。
个人建议安装到C盘,因为后面的win 的 C++ 的一个环境默认是按照在C盘的,而且不提示你更改安装路径。同时lxml会报错找不到
安装完了记得配置环境,将python目录和python目录下的Scripts目录添加到系统环境变量的Path里。在cmd中输入python如果出现版本信息说明配置完毕(如下面截图)。python下载地址。
2.升级pip
通常这个时候会提示升级pip
3.安装lxml
lxml是一种使用 Python 编写的库,可以迅速、灵活地处理 XML。点击 这里选择对应的Python版本安装。验证是否安装成功,如下图。
在安装这部的时候有时候会出现找不到路径
这个时候你的检测了,然后卸载python环境重新安装到C盘,加入环境变量,卸载你报错的软件,然后重新安装
4.安装setuptools
用来安装egg文件,点击 这里下载python2.7的对应版本的setuptools。
也可以在pycharm里面安装,方便
5、安装zope.interface
可以使用第三步下载的setuptools来安装egg文件,现在也有exe版本,点击这里下载。
6、安装Twisted
Twisted是用Python实现的基于事件驱动的网络引擎框架,点击这里下载。
也可以在pycharm里面点击安装,也可以pip安装
7.安装pyOpenSSL
pyOpenSSL是Python的OpenSSL接口,点击 这里下载。
也可以在pycharm里面点击安装,也可以pip安装
8.安装win32py
提供win32api,点击 这里下载
注意,这里有32为的还有64位的,同时对应版本,也可以在pycharm里面
9.安装Scrapy
终于轮到安装scrapy了,直接在cmd中输入easy_install scrapy回车即可。安装后在cmd命令行进行成功与否的验证如图所示。
或者
但是这个时候会报错提示说确实C++组件这个时候就需要去这个网址下载windows支持的python组件aka.ms/vcpython27 下载c++内容
声明文本借鉴文章:http://my.oschina.net/xtfjt1988/blog/364577