Scrapy创建爬虫项目

1.打开cmd命令行工具,输入scrapy startproject 项目名称


2.使用pycharm打开项目,查看项目目录


3.创建爬虫,打开CMDcd命令进入到爬虫项目文件夹,输入scrapy genspider 爬虫文件名 爬虫基础域名


4.打开pycharm,发现spider目录下多出一个bole.py文件


5.运行爬虫


6.将爬虫拿到的数据保存为json格式数据

Scrapy crawl bole -o XXX.json




posted @ 2017-10-30 22:53  zhaobig  阅读(133)  评论(0编辑  收藏  举报