安装scrapy
Scrapy依赖的库比较多,至少需要依赖库有Twisted 14.0,lxml 3.4,pyOpenSSL 0.14。而在不同平台环境又各不相同,所以在安装之前最好确保把一些基本库安装好,尤其是Windows。
#Windows平台
1、pip3 install wheel #安装后,便支持通过wheel文件安装软件,wheel文件官网:https://www.lfd.uci.edu/~gohlke/pythonlibs
2、pip3 install lxml
3、pip3 install pyopenssl
前3步简单,后面针对第四第五步来详细操作
4、下载并安装pywin32:https://sourceforge.net/projects/pywin32/files/pywin32/
5、下载twisted的wheel文件:http://www.lfd.uci.edu/~gohlke/pythonlibs/#twisted
6、执行pip3 install 下载目录\Twisted-17.9.0-cp36-cp36m-win_amd64.whl
7、pip3 install scrapy
#Linux平台
1、pip3 install scrapy
最后输入import scrapy 不报错即是成功安装
windows下进行第四步
Anaconda版本的python已经配置好了pywin32模块,如果你自己安装pywin32嫌繁琐,我建议你直接安装Anaconda。
pycharm中虚拟环境直接pip install pywin32
另外,用pycharm直接安装也可以,等待时间较长
而且这个模块的安装比较繁琐。
首先需要到官方网站下载安装包,官网地址是:
sourceforge.net/projects/pywin32/files/
比如,我的电脑系统是64位,python是3.6版本,所以我应该选择箭头所指的版本的pywin32安装包。
比如,我的电脑是64位系统,我尝试着安装32位的安装包,会遭到警告。
亦或者我想安装python3.5版本的pywin32(我的电脑没有python3.5),也会在安装的时候,被阻止。
检验:
windows下进行第五步
http://www.lfd.uci.edu/~gohlke/pythonlibs/#twisted下载wheel文件,利用pip安装即可。
如Python 3.5版本,Windows 64位系统,下载
Twisted‑17.1.0‑cp35‑cp35m‑win_amd64.whl,然后pip安装(第⑦步)。
pip3 install Twisted‑17.1.0‑cp35‑cp35m‑win_amd64.whl
cp代表解释器的版本号