2019年6月18日

scrapy各种持久化存储的奇淫技巧

摘要: 理论 磁盘文件: 基于终端指令 1)保证parse方法返回一个可迭代类型的对象(存储解析到的页面内容) 2)使用终端指令完成数据存储到指定磁盘文件中的操作,如:scrapy crawl 爬虫文件名称 -o 磁盘文件.后缀 --nolog 基于管道 items.py:存储解析到的页面数据 pipeli 阅读全文

posted @ 2019-06-18 14:30 岱宗夫 阅读(424) 评论(0) 推荐(0) 编辑

导航