Scrapy安装

1. scrapy安装

1.1. Anaconda安装

Conda install Scrapy

这是最简单的一种方式，尤其对于windows来说。

 

1.2. 已经有Python了，需要一步一步的

1.2.1. Windows

安装lxml:

先尝试 pip install lxml 如果报错：则

http://www.lfd.uci.edu/~gohlke/pythonlibs/#lxml 下载对应的wheel文件，安装即可

 

安装pyOpenSSL:

到官方网站下载对应wheel文件，https://pypi.python.org/pypi/pyOpenSSL#downloads,然后安装

 

安装Twisted:

到http://www.lfd.uci.edu/~gohlke/pythonlibs/#twisted 下载对应wheel文件，然后安装

 

安装PyWin32

下载网址https://sourceforge.net/projects/pywin32/files/pwin32/Build%20221或者

https://sourceforge.net/projects/pywin32/files/pywin32/

 

最后pip install scrapy

1.2.2. Linux

安装lxml:

先尝试 pip install lxml 如果报错：则

Sudo yum groupinstall -y development tools

Sudo yum install -y epel-release libxslt-devel libxml2-devel openssl-devel

 

Pip install Scrapy