(1)python Scrapy爬虫框架

 

1、

安装python3

创建一个虚环境项目

在项目下更新pip

pip install --upgrade pip

升级失败了，虚拟环境需要在你创建目录下升级

 

输入上面的提示指令即可

 

2.下载lxml

pip install lxml

 

3.下载zope.interface

pip install zope.interface

 

4.下载异步框架

pip install Twisted

报错缺少 VC++14.0，曾经卡在这n次

手动下载 64位的对应版本

https://www.lfd.uci.edu/~gohlke/pythonlibs/

下载后安装

pip install I:\Twisted-19.2.1-cp37-cp37m-win_amd64.whl

 

5.

pip install pywin32

 

6、安装Scrapy

 pip install scrapy

 

检查版本 

scrapy version

到此算是安装成功了

 

 

创建一个工程

scrapy startproject 工程名

运行