爬虫的框架Scrapy安装

爬虫的框架Scrapy安装

 

我们都知道python的一大利器就是爬虫,简介的代码,和非常牛的异步网络请求框架Twisted,所以了。

但是在学习的时候安装scrapy出现的各种问题,今天就来总结一下如何安装。

安装Python

1.首先环境是python2.7,个人用的是32位的(因为是win10环境开发,安装lxml的时候不识别64位)。

个人建议安装到C盘,因为后面的win 的 C++ 的一个环境默认是按照在C盘的,而且不提示你更改安装路径。同时lxml会报错找不到

  安装完了记得配置环境,将python目录和python目录下的Scripts目录添加到系统环境变量的Path里。在cmd中输入python如果出现版本信息说明配置完毕(如下面截图)。python下载地址

2.升级pip

通常这个时候会提示升级pip

3.安装lxml

lxml是一种使用 Python 编写的库,可以迅速、灵活地处理 XML。点击 这里选择对应的Python版本安装。验证是否安装成功,如下图。 

在安装这部的时候有时候会出现找不到路径

这个时候你的检测了,然后卸载python环境重新安装到C盘,加入环境变量,卸载你报错的软件,然后重新安装

4.安装setuptools 

 用来安装egg文件,点击 这里下载python2.7的对应版本的setuptools。

也可以在pycharm里面安装,方便

5、安装zope.interface

可以使用第三步下载的setuptools来安装egg文件,现在也有exe版本,点击这里下载。

6、安装Twisted

Twisted是用Python实现的基于事件驱动的网络引擎框架,点击这里下载。

也可以在pycharm里面点击安装,也可以pip安装

7.安装pyOpenSSL

pyOpenSSL是Python的OpenSSL接口,点击 这里下载。 

也可以在pycharm里面点击安装,也可以pip安装

8.安装win32py 

提供win32api,点击 这里下载

注意,这里有32为的还有64位的,同时对应版本,也可以在pycharm里面


9.安装Scrapy

终于轮到安装scrapy了,直接在cmd中输入easy_install scrapy回车即可。安装后在cmd命令行进行成功与否的验证如图所示。

或者

但是这个时候会报错提示说确实C++组件这个时候就需要去这个网址下载windows支持的python组件aka.ms/vcpython27 下载c++内容

 

声明文本借鉴文章:http://my.oschina.net/xtfjt1988/blog/364577

 

 
posted @ 2016-11-03 12:32  众里寻,阑珊处  阅读(225)  评论(0编辑  收藏  举报
返回顶部