会员
周边
众包
新闻
博问
闪存
所有博客
当前博客
我的博客
我的园子
账号设置
简洁模式
...
退出登录
注册
登录
sea101
博客园
首页
新随笔
联系
订阅
管理
2017年6月19日
scrapy 伪装代理和fake_userAgent的使用
摘要: 伪装浏览器代理 在爬取网页是有些服务器对请求过滤的不是很高可以不用ip来伪装请求直接将自己的浏览器信息给伪装也是可以的。 第一中方法: 1.在setting.py文件中加入以下内容,这是一些浏览器的头信息 1 # encoding: utf-8 2 from scrapy.utils.project
阅读全文
posted @ 2017-06-19 20:55 sea101
阅读(8244)
评论(0)
推荐(2)
编辑
公告