2019年11月22日
网络爬虫（12）-Scrapy框架Post请求发送
摘要： 1.递归爬取解析多页页面数据 - 需求：将糗事百科所有页码的作者和段子内容数据进行爬取切持久化存储 - 需求分析：每一个页面对应一个url，则scrapy工程需要对每一个页码对应的url依次发起请求，然后通过对应的解析方法进行作者和段子内容的解析。 实现方案： 将每一个页码对应的url存放到爬虫文件 阅读全文
posted @ 2019-11-22 00:10 麦小秋 阅读(291) 评论(0) 推荐(0) 编辑