scrapy 框--项目流程

一：环境搭建--scrapy

pip install scrapy

 

#然后流程

1，scrapy startproject 项目名称

2，scrapy genspider example example.com 小名称 网址（如：baidu.com）

3, 用python设置好相关的配置

4，cd项目目录 ，启动爬虫，命令：scrapy crawl 小名称

 

 

二：setting设置

1，ROBOTSTXT_OBEY = False

#开启这个

2,USER_AGENT = 'tengxu (+http://www.yourdomain.com)'

3，ITEM_PIPELINES = {

'tengxu.pipelines.TengxuPipeline': 300,

}