windows安装scrapy

1.安装Twisted

直接pip install Twisted

然后报错

+ View Code?

1 2 3 4 5 6

error: Microsoft Visual C++ 14.0 is required. Get it with "Microsoft Visual C++ Build Tools": http://landinghub.visualstudio.com/visual-cpp-build-tools       ---------------------------------------- Command "c:\users\zb\appdata\local\programs\python\python36-32\python.exe -u -c "import setuptools, <br>tokenize;__file__='C:\\Users\\zb\\AppData\\Local\\Temp\\pip-build-10ew2ma_\\Twisted\\setup.py';f=getattr(tokenize, 'open', open)(__file__);code=f.read().replace('\r\n', '\n');f.close();exec(compile(code, __file__, 'exec'))"<br> install --record C:\Users\zb\AppData\Local\Temp\pip-85cixft1-record\install-record.txt --single-version-externally-managed --compile" failed with error code 1 in C:\Users\zb\AppData\Local\Temp\pip-build-10ew2ma_\Twisted\ You are using pip version 9.0.1, however version 10.0.1 is available. You should consider upgrading via the 'python -m pip install --upgrade pip' command.

 

最后一句提醒让升级pip，然后运行 python -m pip install --upgrade pip 运行 

这时候我们成功升级了pip了。然后重新 安装pip install twisted运行之后看到出现 如下错误

+ View Code?

1 2	building 'twisted.test.raiser' extension error: Microsoft Visual C++ 14.0 is required. Get it with "Microsoft Visual C++ Build Tools": http://landinghub.visualstudio.com/visual-cpp-build-tools

字面意思看需要安装Microsoft Visual C++ 14.0 ，但是这个东西安装起来很麻烦，而且安装上了也不一定准确，这个时候呢，我们一般就考虑第三方的python模块安装包
http://www.lfd.uci.edu/~gohlke/pythonlibs/

然后搜索twisted，下载对应的版本，下图cp36就是python3.6x版本用的，win32是指的python的位数，cmd输入python查看python的版本，这里我就下载下面蓝色x

https://pan.baidu.com/s/1MOVgSWO0aJrBMKUw4ibdrQ

然后用命令行到whl的目录

pip install  Twisted-18.4.0-cp36-cp36m-win32.whl

2.安装scrapy

 

pip install scrapy

 没有特殊情况就会安装成功了。

3.创建工程

打开命令行，然后切换到需要的目录,d:

输入下面的命令创建工程

scrapy startproject weibo

其中weibo是你需要创建的工程的名字，前两个参数不动。

然后到达工程的目录，cd weibo

scrapy genspider weibocn m.weibo.cn

然后这时候进入工程的spider文件发现多了一个文件weibocn.py

weibocn 是爬虫的名字，具有唯一性，每个工程拥有一个唯一的爬虫名，m.weibo.cn是指定域范围，获取的内容只在指定的域。