07 2022 档案

用nginx中的$http_user_agent简单配置防爬虫

摘要：有些爬虫对服务器恶意获取网站信息，不遵守robots规则，我们需要进行拦截。可以禁止某些User Agent抓取网站. 如果对方真想爬你，他可以编写程序模拟真实浏览器信息，下面只是防一些工具类的在vhost中新建配置配置文件 agent_deny.ngxfix #禁止Scrapy等工具的抓取 if 阅读全文

posted @ 2022-07-29 15:03 愛羅阅读(1454) 评论(0) 推荐(0) 编辑

查找linux下进程占用CPU过高的原因，以php-fpm为例

摘要：很多时候，线上服务器的进程在某时间段内长时间占用CPU过高，为了优化，我们需要找出原因。 1、找出占用CPU最高的10个进程 ps aux | sort -k3nr | head -n 10 或查看占用内存最高的10个进程 ps aux | sort -k4nr | head -n 10 或者使用阅读全文

posted @ 2022-07-25 14:54 愛羅阅读(1302) 评论(0) 推荐(0) 编辑