2020年3月4日
scrapy入门(二)请求传参和中间件
摘要： 1. scrapy的请求传参 作用 : 实现深度爬取 使用场景 : 爬取的数据没有在同一张页面 例如, 爬取电影首页全部电影的详情页信息 2. scrapy的中间件, 和管道一样, 需要在配置文件中开启中间件 下载中间件 : 批量拦截requests和response 作用: + 修改请求的头信息 阅读全文
posted @ 2020-03-04 23:55 逸枚俗人 阅读(340) 评论(0) 推荐(0) 编辑