win7下scrapy1.3.2安装

刚开始学爬虫，网上搜了搜，目前最合适的是选scrapy。

先要安装scrapy。

很多的博客上用的教程都说，scrapy目前对python3支持不是很好。可是不能不学3啊。

先用anaconda最新版本4.3.2

 

import scrapy 发现报错！

直接上 pip install scrapy,

安装过程还可以，还是最后报了错。反复了几次，最后停留在缺少c++的工具

第一步 升级 .netframework到4.6

第二步 下载 visualcppbuildtools_full.exe，安装。文件不大，才3m，安装过程需要联网，我用了一个小时才安装好。

第三步，pip install scrapy。顺利通过

第四步 import scrapy ，顺利通过

第五步，练习爬虫程序，小案例没事，大的完整的案例，就报错， 什么 ‘float’ not a iterator.......烦死了

明白了，还是支持不够。

 

检查scrapy版本

进入根目录，命令行敲 scrapy version

显示版本是1.1.1

。直接上scrapy网站上找最新版。发现是1.3.2。显示可以支持python3（差很多版本了。）

进入pip

https://pypi.python.org/pypi/pip

搜索 scrapy 。这上面有1.3.2。（不明白为什么，pip install scrapy 没有自动安装这个版本）

 

下载下来  Scrapy-1.3.2-py2.py3-none-any.whl

直接pip安装

　　pip install Scrapy-1.3.2-py2.py3-none-any.whl

过程显示　　卸载了1.1.1版本，然后顺利安装了1.3.2

命令行测试

　　scrapy fetch http://www.tjcac.gov.cn/xxgk/tzgg/201701/t20170120_46683.html (随便找个网页)

这是最后部分的截图，显示成功了。

 

最后总结，scrapy现在已经能够比较好的支持python3了。