scrapy的安装与使用

一开始安装的时候用不了pip install命令安装scrapy

需要在cmd进行多几块命令

一开始我是这样的

D:\python>pip install scrapy

报错说invalid syntax

后面百度了一下：

解决办法是：

在命令行下cd 进对应python的script文件目录，再执行pip指令即可。

但是在打开Scripts的时候有可能也会报错，说内部或外部没有这个文件

这时候应该考虑的环境变量的问题，在path处添加安装环境变量就可以了

上面的事情昨晚就可以安装scrapy了

不过做完pip install scrapy安装完后，还会继续出现一个叫wheel的问题

这时候就要去百度搜索 python whl  

找到https://www.lfd.uci.edu/~gohlke/pythonlibs/这个链接的网址

ctrl+F 输入twisted

点击进去会出现

 

 选中属于自己环境的版本就可以下载了

我下载完就放进python的script文件目录里面

再用cmd重复前面的

pip install Twisted就可以了

安装完重新打开cmd

在Scripts处打开scrapy，因为用pip安装的文件都会在Scripts里面。

用scrapy bench检查scrapy是否真正安装完成。

如果可以就可以输入命令：scrapy startproject XXX

开始scrapy的爬虫之旅吧！