2018年11月26日
Scrapy框架(持久化,去重,深度控制,cookie)
摘要： 1. 持久化 目前缺点： - 无法完成爬虫刚开始：打开连接； 爬虫关闭时：关闭连接； - 分工明确 pipeline/items a. 先写pipeline类 class XXXPipeline(object): def process_item(self, item, spider): retur 阅读全文
posted @ 2018-11-26 19:37 月黑风高夜夜欢 阅读(1138) 评论(0) 推荐(0) 编辑