2022年1月22日
scrapy的Pipeline类不可使用yield
摘要： scrapy的Pipeline类不可使用yield 业务需求在scarpy的pipeline中处理过数据后再生成新的Request。但如果直接再Pipeline类的process_item方法中yield Request，会导致爬虫执行直接跳过该Pipeline，连个报错都看不到。 排查发现是yie 阅读全文
posted @ 2022-01-22 23:23 lymmurrain 阅读(83) 评论(0) 推荐(0) 编辑