分析nginx日志并屏蔽采集者ip

采集和防止采集是一个经久不息的话题，一方面都想搞别人的东西，另一方面不想自己的东西被别人搞走。

本文介绍如何利用nginx屏蔽ip来实现防止采集，当然也可以通过iptable来实现。

1.查找要屏蔽的ip 

awk '{print $1}' nginx.access.log |sort |uniq -c|sort -n

nginx.access.log 为日志文件，

会到如下结果，前面是ip的访问次数，后面是ip，很明显我们需要把访问次数多的ip并且不是蜘蛛的ip屏蔽掉，本例当中我们屏蔽掉165.91.122.67

...

  13610 202.112.113.192

  95772 180.169.22.135

 337418 219.220.141.2

 558378 165.91.122.67