会员
周边
众包
新闻
博问
闪存
赞助商
所有博客
当前博客
我的博客
我的园子
账号设置
简洁模式
...
退出登录
注册
登录
thepoy
博客园
首页
新随笔
联系
订阅
管理
2021年1月28日
Colly 爬虫,为 Retry 添加一个简单的计数器
摘要: Colly 的 Retry 函数,设计理念不知道是什么,一旦使用了 Retry 访问了一个本就有问题的链接,就会无限循环访问,永不停止。 我们就手动添加一个map用来计录链接的重试次数。 下面的代码简单有效,但只对GET方法有效。 // RetryCounter GET方法重试计数器 type Re
阅读全文
posted @ 2021-01-28 14:00 thepoy
阅读(356)
评论(0)
推荐(0)
编辑
公告
目录