Fork me on GitHub
2019年4月27日
关于pipeline持久化
摘要： 将糗事百科主页的段子标题和作者数据爬取下来，然后进行持久化存储 流程： 1.爬虫文件爬取到数据后，需要将数据封装到items对象中。 2.使用yield关键字将items对象提交给pipelines管道进行持久化操作。 3.在管道文件中的process_item方法中接收爬虫文件提交过来的item对 阅读全文
posted @ 2019-04-27 21:29 Utopia-Clint 阅读(233) 评论(0) 推荐(0) 编辑