夺命雷公狗—玩转SEO---75---通过日志分析得出搜索引擎喜欢的部分

分析日志得出搜索引擎喜欢什么，那么我们可以分析日志来进行分析出来，下面这6个点就是最容易得出的结果，因此我们可以做一个表格：

1、抓取最多栏目

栏目

看看那个栏目是最优质量的，从而决定您的网站栏目发布的内容以及排名的前后条件，说白了那个栏目好久重点去优化他，比如上图的这个栏目出现的次数最多，所以优化的就是他，那么就需要去抓取最多栏目中标记出来：

因为蜘蛛喜欢的栏目那代表着收录更加容易，所以要对她多下点功夫和内容页页下点功夫，这样排名就可以好快就上来了~~！

2、数据大小(MB)

大小，因为是分割出来了，所以每天的大小都是不同的

因此还需要记录到表中去：

随着数据文件的大小，可以统计到的蜘蛛就越多，蜘蛛爬行页面的连接也就越多，如果蜘蛛没什么变化就要注意了。

如果数据大量涨了起来，但是其他数据切原封不动，这就说明很有可能是垃圾IP过来了，垃圾IP是不会记录到我们的蜘蛛上的，而且还很有可能是被别人恶意采集了。

3、404抓取数量

404

如果发现了404那么就要去站长平台进行处理了，因为这是会影响到我们网站的排名的

我们可以通过命令过来判断对方服务器是否是百度蜘蛛的，如下所示：

nslookup 127.0.0.1

这个一搜索很明显就不是蜘蛛了，如果抓到的是404，那么直接封掉该IP和记录出404数量即可。

然后我们到我们的表格里面记录404的数量即可，如下所示：

4、蜘蛛抓取数量

蜘蛛

在loghao里面发现的122这个就是蜘蛛的抓取数量，我们直接将他记录到我们的表格中即可：

5、页面抓取数量

抓取

这个是蜘蛛抓取的数量，因此我们就要到表格里面记录一个10给他，如下所示：

6、首页爬行次数

首页

爬行过来一共是28次，所以我们就需要记录到表格中

这表格数据都是联动的，今天数据和明天的数据发生变化好大，那就需要去留意了~ ~！

一天的数据是看不出问题的，所以那多几天的数据来进行一个比对，这样才可以发现问题出在哪里。。

总结

1、如果首页爬行次数的量大于页面抓取数量，那么我们就需要去给首页做 nofollow 了。

2、如果蜘蛛抓取数量在递增的时候，但是页面抓取数量和首页爬行次数都没涨，去抓其他东西了，那就是有问题的了，蜘蛛抓取数量这个量如果再涨的时候那页面抓取数量和首页爬行次数这两个量也是需要涨起来的，不管是好的还是坏的，如果没涨，只能说明蜘蛛蜘蛛无法打开我们的站点二级页面或者说蜘蛛不抓取下层页面，那很有可能说明这些页面纯在着一些问题的，使用导致他不抓。

如：