2022年10月12日
如何不影响搜索排名情况下降低搜索爬虫对网站的影响（google ,bing, yandex,pinterest 等）
摘要： 引言：网站资源（CPU,内存等）使用率在某个时段很高，甚至出现502状态，查日志（看请求头user-agent）发现爬虫在某个时段大量爬取，超出网站正常的负荷，如何在不影响搜索排名情况下合理降低搜索爬虫对网站的影响呢？ 方法1：在服务端限制 适用：对不知道，或恶意爬虫限流 在nginx或防火墙上针对 阅读全文
posted @ 2022-10-12 11:54 i金少 阅读(146) 评论(0) 推荐(0) 编辑