随笔分类 - 云服务器
摘要：Fail2ban的工作原理很简单：读取日志，使用正则表达式匹配IP地址，只要在规定时间内达到预先设置的访问次数，就会执行ban action。也可以设置在封禁一段时间之后，自动解除封禁。总之这是一款比较灵活的软件。当我们没有使用CloudFlare的时候，通常会把匹配到的ip地址提交给本机的ipta
阅读全文
摘要：安装 snapd 可以使用以下命令将 EPEL 存储库添加到 CentOS 7 系统： sudo yum install epel-release 将 EPEL 存储库添加到你的 CentOS 安装后，只需安装snapd包： sudo yum install snapd 安装后，需要启用管理主 sn
阅读全文
摘要：第一步：分析NGINX日志 分析日志主要目的是寻找那些异常活跃的IP地址，通过以下命令可以快速找出。 cat access.log | awk '{print$1}' |sort|uniq -c|sort -rn|head -10cat access.log | awk '{print$1}' |s
阅读全文
摘要：du -h --max-depth=1
阅读全文
摘要：###zsh下使用bash下的全局命令 bash命令行工具是mac自带的，在网上查找自行安装zsh，然后运行命令的时候报错了 ```shell zsh: command not found: npm ``` npm命令没有找到，在之前bash中是因为在 .bash_profile 中配置了环境变量，
阅读全文
摘要：普通爬虫 分别查看有爬虫标志的访问次数和合计的总页面访问次数 cat www.access.log | grep spider -c cat www.access.log | wc 查看爬虫来ip地址来源 cat www.access.log | grep spider | awk '{print
阅读全文
摘要：User Agent 中文名为用户代理，简称 UA，是一个特殊字符串头，使得服务器能够识别客户使用的操作系统及版本、CPU 类型、浏览器及版本、浏览器渲染引擎、浏览器语言、浏览器插件等。Python 爬虫通过伪装 UA 可以绕过某些检测。 以下为搜集的常见的各浏览器的 User-Agent，其中：
阅读全文
摘要：什么是 HTTP 缓存 HTTP 缓存可以说是HTTP性能优化中简单高效的一种优化方式了，缓存是一种保存资源副本并在下次请求时直接使用该副本的技术，当 web 缓存发现请求的资源已经被存储，它会拦截请求，返回该资源的拷贝，而不会去源服务器重新下载。 一个优秀的缓存策略可以缩短网页请求资源的距离，减少
阅读全文
摘要：1. 导入数据到数据库 mysql -uroot -D数据库名 1. 导入数据到数据库中得某个表 mysql -uroot -D数据库名 表名 D:\APMServ5.2.6\MySQL5.1\bin>mysqldump -u root -p erp lightinthebox_tags > lig
阅读全文
摘要：配置通过Nginx进行访问入口，默认的日志是没有请求时间的，因此需要配置一下，将每一次的请求的访问响应时间记录出来，备查与优化使用. 一、默认的日志格式默认的日志格式如下(默认是注解掉的，系统也自动会使用)： #log_format main '$remote_addr - $remote_user
阅读全文
摘要：User-agent:msnbot Visit-time:0855-1700说明:指定每天允许BING蜘蛛采集的时间段，格式为mmss-mmss，例如0800-1700，即限制BING蜘蛛08:00-17:00访问。User-agent:msnbotRequest-rate:1/5 0900-104
阅读全文
摘要：前言刚买的阿里云服务器，如果想在服务器上搞点什么东西，需要先登录进服务器，每次还得手动输入密码，太麻烦了。所以想通过ssh快捷登录，记录一下配置过程。 主要分三步：1、拿到mac上的公钥和私钥2、将公钥放到服务器上3、配置ssh的config 公钥和私钥先查看自己电脑上是否有已经生成的公私钥，在Te
阅读全文
摘要：对于做国内站的我来说，我不希望国外蜘蛛来访问我的网站，特别是个别垃圾蜘蛛，它们访问特别频繁。这些垃圾流量多了之后，严重浪费服务器的带宽和资源。通过判断user agent，在nginx中禁用这些蜘蛛可以节省一些流量，也可以防止一些恶意的访问。 方法一：修改nginx.conf，禁止网络爬虫的user
阅读全文
摘要：一般情况下，PHP-CGI只在用户访问的时候会占用CPU资源，如果服务器上的PHP-CGI进程占用了非常多的CPU，但是访问流量却非常少。这显然是一个不正常的现象 1.使用 top 找出CPU最高的进程pid 2 ll /proc/PID/fd //通过PID找到哪个文件操作的进程，进而知道问题所在
阅读全文
