Scrapy-Web爬虫框架初识、安装、基本使用

一、Scrapy初识

• Scrapy是一个为了爬取网站数据，提取结构性数据而编写的应用框架，非常出名，非常强悍。所谓的框架就是一个已经被集成了各种功能(高性能异步下载，队列，分布式，解析，持久化等)的具有很强通用性的项目模板。

- Scrapy内容
    - 基于框架发起请求
    - 数据解析
    - 持久化存储
    - 核心组件的工作原理
    - 全站数据爬取
    - 深度爬取
    - 中间件
    - 分布式
    - 增量式