再次尝试放出被屏蔽的百度蜘蛛网段

昨天发布的博文蜘蛛的依旧疯狂与园子的新畅想:尝试放出被屏蔽的百度蜘蛛网段引起了百度的关注,晚上联系了我们,经过商量达成一个解决方法——百度会限制一下蜘蛛抓取时的最高QPS。

今天晚上 18:16:13,我们再次尝试放出被屏蔽的百度蜘蛛网段 116.179.37.0/24,一看 CPU 波动情况,就知道应该是被百度限制住了。

观察了一段时间,pod 的 cpu 占用基本都在 3000m 以内,而且很平稳。

19:00-20:00 期间这个网段的蜘蛛一个产生了 601395 个请求,平均下来 QPS 在 160 左右,疯狂的蜘蛛终于温和了下来,让人都觉得有点不习惯。

还需要继续观察一段时间,看蜘蛛是否真的痛改前“疯”,持续地保持温和。

接下来最关键的问题是搜索排名是否能逐步恢复,以及需要多长时间才能恢复。

【更新】

2023-09-22 10:02,请求次数到达1000万
2023-09-22 13:38,一天内的百度收录量依然为0
2023-09-24 09:58,一天内的百度收录量增加至3页
2023-09-25 14:35,一天内的百度收录量增加至10页
2023-09-25 21:55,一天内的百度收录量增加至20页
2023-10-11 14:33,一天内的百度收录量下降至8页

posted @   博客园团队  阅读(7102)  评论(33编辑  收藏  举报
相关博文:
阅读排行:
· 2分钟学会 DeepSeek API,竟然比官方更好用!
· .NET 使用 DeepSeek R1 开发智能 AI 客户端
· autohue.js:让你的图片和背景融为一体,绝了!
· 10亿数据,如何做迁移?
· 推荐几款开源且免费的 .NET MAUI 组件库
历史上的今天:
2020-09-21 上周热点回顾(9.14-9.20)
2020-09-21 【征文活动】为自己发“声” —— 声网RTC征文大赛在园子里征稿
2015-09-21 上周热点回顾(9.14-9.20)
2009-09-21 欢迎参加上海地区免费.NET培训
点击右上角即可分享
微信分享提示