2018年10月18日
scrapy pipelines 以及 cookies
摘要： 在yeild item以后，会依次通过所有的pipelines 在存在多个pipelines的class的情况的时候，如果不希望交给下一个pipeline进行处理： 1、需要导入 2、在process_item方法中抛出异常 如果希望交给下一个pipeline处理的话： 另外：如果只希望交给某一个p 阅读全文
posted @ 2018-10-18 17:53 Trunkslisa 阅读(297) 评论(0) 推荐(0) 编辑
scrapy 去重策略修改
摘要： 1、首先自定义一个‘duplication.py’文件： 2、修改settings文件，添加 阅读全文
posted @ 2018-10-18 16:43 Trunkslisa 阅读(765) 评论(0) 推荐(0) 编辑