【scrapy windows环境下安装遇到的问题】

在了解了爬虫的好玩之处之后，立马准备学起来，看了简单的教程后，通过BeautifulSoup来剖析网页内的元素，抓取相应需要的元素的内容（对应值），获取需要的数据之后，通过pandas保存在数据库或者excel中。

 

接下来，准备学习框架式的抓取工具scrapy，一开始安装就遇到了如下问题：

1. error: Microsoft Visual C++ 14.0 is required. Get it with "Microsoft Visual C++ Build Tools": http://landinghub.visualstudio.com/visual-cpp-build-tools

2. ModuleNotFoundError: No module named 'win32api'

 

问题1是在第一次在windows操作系统中cmd环境下使用pip install scrapy命令时遇到的报错。 当时第一反应是从一堆报错中找到最后一行提示，并进入了网址“http://landinghub.visualstudio.com/visual-cpp-build-tools”，以为真的是缺少vs，就下载，发现并不能解决此问题。

然后百度次错误提示，终于发现是缺少了这个“Twisted-17.9.0-cp36-cp36m-win_amd64.whl” ，于是在lfd的网站（https://www.lfd.uci.edu/~gohlke/pythonlibs/）找到相应文件，再次通过pip安装：pip install Twisted-17.9.0-cp36-cp36m-win_amd64.whl。安装成功后，scrapy也就能安装成功了。

 

问题2是在scrapy安装成功后，查看计算机的硬件配置能够支持每秒抓取多少页面的测试，这可是电脑硬件的荣誉啊，马上试试，命令：“scrapy bench”，这么简单的代码，又来了错误：“ModuleNotFoundError: No module named 'win32api'” 有点懵，查看后认识：Python是没有自带访问windows系统API的库的，需要下载。库的名称叫pywin32，可以从网上直接下载； 网址：https://github.com/mhammond/pywin32/releases ，安装后问题解决。