【Scrapy(二)】Scrapy 中的 Pipline,Item,Shell组件
Pipline:
1.爬虫项目与爬虫的区别与关联:
一个爬虫项目可以包含多个爬虫,如下图中爬虫项目firstspider 包含多个爬虫itcst 和爬虫itcast1
2.多个爬虫是公用一套Pipline组件的,在Pipline组件中如何区分不同的爬虫?
方法一: 在爬虫中使用自定义键,然后在一个pipline中使用if else判断,或者在多个pipline中使用判断(因为pipline可以依次执行,并通过return传递到下一个pipline)
方法二: 根据process_item 中的参数spider去判断,参数spider表示不同爬虫本身,scrapy爬虫本身具有name属性,可以使用爬虫名称去判断不同的爬虫:
