Scrapy框架的学习(6.item介绍以及items的使用（提前定义好字段名）)

在Scrapy框架中的items.py的作用

1.可以预先定义好要爬取的字段 items.py

 

 

 

2. 把字段定义好之后 ,就可以在爬虫中进行使用

    在用的时候， item的键名要和在items.py里面定义好的字段名称一致

 

 3. 如果想在pipelines.py中使用的方法是大同小异，只是在进行处理的时候item传过来的是一个类对象，要对其进行相应的转化

 

 

4. 这样做有什么好处呢，个人理解：

(1)  可以直接看items.py，可以看出来要爬取那些字段

 (2) 防止我们在item["键名"]  输入键名的时候输入错误

有多个爬虫时Item的处理

例如有个腾讯爬虫、有个京东爬虫，怎样处理

1. 在items.py里面创建不同的类，分别保存各自的字段

 

 

2. 然后在不同的爬虫程序里使用对应的类即可

     在腾讯的爬虫里 ，  导入和使用

 

 

在京东的爬虫中，可以这样使用

 

 

 

3. 对于多个爬虫，在pipelines,py中可以进行判断，分别对不同的爬虫的字段进行不同的处理

    isinstance() 函数来判断一个对象是否是一个已知的类型