Scrapy创建爬虫项目

1.打开cmd命令行工具，输入scrapy startproject 项目名称

 

2.使用pycharm打开项目，查看项目目录

 

3.创建爬虫，打开CMD，cd命令进入到爬虫项目文件夹，输入scrapy genspider 爬虫文件名 爬虫基础域名

 

4.打开pycharm，发现spider目录下多出一个bole.py文件

 

5.运行爬虫

 

6.将爬虫拿到的数据保存为json格式数据

Scrapy crawl bole -o XXX.json