Scrapy爬虫框架的安装

Scrapy框架是我在Windows中遇到的最难安装的第三方库，一直不想写这篇博客，但碰巧今天重装了系统，这正好是个机会？

 

1.安装pywin32：https://sourceforge.net/projects/pywin32/files/pywin32/Build%20220/

根据自己的电脑配置下载，因为我的Python是64位的，环境：Python3.6，所以选择这个

2.安装lxml模块：pip install lxml

3.安装wheel模块：pip install wheel

4.scrapy依赖twiste，使用whl格式的包进行安装,网址：http://www.lfd.uci.edu/~gohlke/pythonlibs/

 

5.然后下载scrapy的whl包，网址：https://www.lfd.uci.edu/~gohlke/pythonlibs/

在下载好的路径下：在此处打开命令窗口，然后依次输入：

pip install Twisted-17.1.0-cp36-cp36m-win_amd64.whl 

pip install Scrapy-1.3.3-py2.py3-none-any.whl

pip install Scrapy

大功告成！！！