2019年4月23日
scrapy parse（）方法工作机制（转）
摘要： 1.因为使用的yield，而不是return。parse函数将会被当做一个生成器使用。scrapy会逐一获取parse方法中生成的结果，并判断该结果是一个什么样的类型； 2.如果是request则加入爬取队列，如果是item类型则使用pipeline处理，其他类型则返回错误信息。 3.scrapy取 阅读全文
posted @ 2019-04-23 15:52 olivertian 阅读(2217) 评论(0) 推荐(0) 编辑