会员
周边
众包
新闻
博问
闪存
赞助商
所有博客
当前博客
我的博客
我的园子
账号设置
简洁模式
...
退出登录
注册
登录
cnhkzyy
认真写博客,努力加餐饭
博客园
首页
新随笔
联系
订阅
管理
2017年8月28日
Python爬虫之利用BeautifulSoup爬取豆瓣小说(一)——设置代理IP
摘要: 自己写了一个爬虫爬取豆瓣小说,后来为了应对请求不到数据,增加了请求的头部信息headers,为了应对豆瓣服务器的反爬虫机制:防止请求频率过快而造成“403 forbidden”,乃至封禁本机ip的情况,而设置了代理ip,详细请见代码和注释。 爬取豆瓣小说的链接:https://www.douban.
阅读全文
posted @ 2017-08-28 22:59 cnhkzyy
阅读(2085)
评论(0)
推荐(0)
编辑
公告