Scrapy框架

一 简介

　　Scrapy，Python开发的一个快速、高层次的屏幕抓取和web抓取框架，用于抓取web站点并从页面中提取结构化的数据。Scrapy用途广泛，可以用于数据挖掘、监测和自动化测试

 

安装scrapy

使用pip进行安装

运行cmd命令进入终端

执行命令：pip install Scrapy

安装Scrapy一般会出现下面的错误

次提示系统没有Microsoft Visual C++ 14.0，需要先安装

Microsoft Visual C++ 14.0 提取码：lubx

安装好之后再次执行pip install Scrapy命令即可

 

使用 Scrapy

1、使用终端进入到需要创建项目的路径下

这里我在F盘创建

2、输入scrapy startproject 项目名称  进行项目创建