创建爬虫

1.创建项目

命令行到文件路径下，

scrapy startproject tutorial

产生目录

tutorial/

　　scrapy.cfg

　　tutorial/

　　　　__init__.py

　　　　items.py

　　　　settings.py

　　　　middlewares.py

　　　　pipelines.py

　　　　spiders/

　　　　　　_init_.py

　　　　　　。。。。

 

2.编写spider

scrapy genspider 爬虫名 初始URL #初始URL可以修改

 

3.定义item