scrapy框架的介绍

# 爬虫当中:scrapy框架 & pyspider
1.是什么: scrapy是一个基于Twisted异步框架的爬虫框架(异步, 爬虫框架)
2.为什么要学它:scrapy框架异步, 快.解耦的思想
3.用在哪里?--> 爬虫, 项目--> 数据量比较大的爬虫项目中, 分布式爬虫, 增量式爬虫
4.什么时候用: 具体业务需求, 领导要求
5.怎么用:?

 

.创建项目

1.scrapy startproject projectname
2.cd projectname
3.scrapy genspider 爬虫名 域名

# scrapy项目的运行命令: scrapy crawl  爬虫名