2019年7月1日
UA池和IP代理池使用
摘要： UA池：User-Agent池 - 作用：尽可能多的将scrapy工程中的请求伪装成不同类型的浏览器身份。 - 操作流程： 1.在下载中间件中拦截请求 2.将拦截到的请求的请求头信息中的UA进行篡改伪装 3.在配置文件中开启下载中间件 代码展示 #导包 from scrapy.contrib.dow 阅读全文
posted @ 2019-07-01 15:30 哇!好难 阅读(438) 评论(0) 推荐(0) 编辑