会员
周边
众包
新闻
博问
闪存
赞助商
所有博客
当前博客
我的博客
我的园子
账号设置
简洁模式
...
退出登录
注册
登录
i金少
对于不可控的事情,我们要保持乐观;对于可控的事情,我们要保持谨慎。--爱比克泰德
博客园
首页
新随笔
联系
订阅
管理
2022年10月12日
如何不影响搜索排名情况下降低搜索爬虫对网站的影响(google ,bing, yandex,pinterest 等)
摘要: 引言:网站资源(CPU,内存等)使用率在某个时段很高,甚至出现502状态,查日志(看请求头user-agent)发现爬虫在某个时段大量爬取,超出网站正常的负荷,如何在不影响搜索排名情况下合理降低搜索爬虫对网站的影响呢? 方法1:在服务端限制 适用:对不知道,或恶意爬虫限流 在nginx或防火墙上针对
阅读全文
posted @ 2022-10-12 11:54 i金少
阅读(146)
评论(0)
推荐(0)
编辑
公告