scrapy 框架

selecto创建爬虫

1、创建项目

scrapy  startproject [项目名称]

2、进入项目所在的路径，创建爬虫

scrapy genspider [爬虫名字] [爬虫的域名]   **爬虫名字不能和项目名称一致

 

 

项目目录结构

 

4.response是一个html对象可以执行xpath，css，re语法来提取数据

 

 

5、提取出来的数据是一个selector 或者selectorlist 对象，可以用getall() 或者get()方法获取

6、getall()方法获取selector中所有的文本 返回一个列表

7、get()方法获取selector中第一个文本，返回一个str

8、如果数据解析回来，要传给pipline处理，那么可以用yield来返回，或者收集所有的数据，最后用return来返回

 

9、item：建议在item里定义好模型，以后不要经常使用字典。

 

 

10、pipeline：这个专门用来保存数据的，里面有三个方法会经常使用

　　　　open_spider(self, spider)   当爬虫被打开时使用

　　　　process_item(self, item , spider)  当爬虫有item传过来时会被调用

　　　　close_spider(self, spider)  当爬虫关闭的时候会被调用