python爬虫

Scrapy
Scrapy 是用 Python 实现的一个为了爬取网站数据、提取结构性数据而编写的应用框架。
Scrapy 常应用在包括数据挖掘，信息处理或存储历史数据等一系列的程序中。
通常我们可以很简单的通过 Scrapy 框架实现一个爬虫，抓取指定网站的内容或图片

https://blog.csdn.net/qq_38970783/article/details/88778081

使用Scrapy爬虫一共需要四个步骤：
一：新建项目：在cmd中，先来到某一个目录，比如：cd Desktop
再输入 scrapy startproject XXX:   新建一个新的爬虫项目
二：明确目标（编写items.py）:明确你想要的抓取的目标
三：制作爬虫（pipelines.py）:设计管道存储爬取内容