再次尝试放出被屏蔽的百度蜘蛛网段

昨天发布的博文蜘蛛的依旧疯狂与园子的新畅想：尝试放出被屏蔽的百度蜘蛛网段引起了百度的关注，晚上联系了我们，经过商量达成一个解决方法——百度会限制一下蜘蛛抓取时的最高QPS。

今天晚上 18:16:13，我们再次尝试放出被屏蔽的百度蜘蛛网段 116.179.37.0/24，一看 CPU 波动情况，就知道应该是被百度限制住了。

观察了一段时间，pod 的 cpu 占用基本都在 3000m 以内，而且很平稳。

19:00-20:00 期间这个网段的蜘蛛一个产生了 601395 个请求，平均下来 QPS 在 160 左右，疯狂的蜘蛛终于温和了下来，让人都觉得有点不习惯。

还需要继续观察一段时间，看蜘蛛是否真的痛改前“疯”，持续地保持温和。

接下来最关键的问题是搜索排名是否能逐步恢复，以及需要多长时间才能恢复。

【更新】

2023-09-22 10:02，请求次数到达1000万
2023-09-22 13:38，一天内的百度收录量依然为0
2023-09-24 09:58，一天内的百度收录量增加至3页
2023-09-25 14:35，一天内的百度收录量增加至10页
2023-09-25 21:55，一天内的百度收录量增加至20页
2023-10-11 14:33，一天内的百度收录量下降至8页