记录google,yahoo,bing爬虫记录的插件
建立一个网站的话我们肯定是搜索引擎是我们网站的主要来源!我们肯定非常想知道到底搜索引擎在我们的网站上爬行的具体的信息吧!
今天在网上找到一个wordpress插件(crawlrate)来记录搜索引擎的爬虫记录。一般来说最主要的我们是要掌握Google的信息,Google可以说是搜索行业的标杆了吧!这个插件能让我们知道各个搜索喜欢什么样的信息,什么时间对你网站爬行的多!等等这里就不在啰唆了!!唯一的缺点就是只能记录谷歌,雅虎和必应的,不能记录国内最大的中文搜索引擎百度蜘蛛的爬行记录,这个是一个比较大的遗憾,毕竟百度对英文网站也没有什么帮助,虽然Google做的比较好用,然而我们国内的网站对百度的倚赖还是非常大的,这个我们不能否认!他的数量摆在那里,谁能撼动?呵呵!所以对一个国外开发的插件来说没有百度很正常的了。稍微分析了一下他这个插件怎么写的修改了一番,将国内常用的搜索引擎加入,修改为:百度,谷歌,雅虎,搜搜,有道,必应和搜狗。Patrick Altoft 大神多多见谅啊。
修改位置:
sbtracking-log.php文件:
找到
function getBotName()
修改为:
function getBotName() {
$crawlagent = "";
if(preg_match("/baiduspider/i", $_SERVER['HTTP_USER_AGENT']) == 1){
$crawlagent="baidu";
}
if(preg_match("/googlebot/i", $_SERVER['HTTP_USER_AGENT']) == 1){
$crawlagent="google";
}
if(preg_match("/slurp/i", $_SERVER['HTTP_USER_AGENT']) == 1){
$crawlagent="yahoo";
}
if(preg_match("/sosospider/i", $_SERVER['HTTP_USER_AGENT']) == 1){
$crawlagent="soso";
}
if(preg_match("/YoudaoBot/i", $_SERVER['HTTP_USER_AGENT']) == 1){
$crawlagent="youdao";
}
if(preg_match("/msnbot/i", $_SERVER['HTTP_USER_AGENT']) == 1){
$crawlagent="bing";
}
if(preg_match("/sogou spider/i", $_SERVER['HTTP_USER_AGENT']) == 1){
$crawlagent="sogou";
}
return $crawlagent;
}
sbtracking-chart-data.php文件
修改的位置比较多,例如:
$total['baidu'] = 0;
$total['google'] = 0;
$total['yahoo'] = 0;
$total['soso'] = 0;
$total['youdao'] = 0;
$total['bing'] = 0;
$total['sogou'] = 0;
这里不再全部列出。我会将插件修改的文件上传下。
最后在加下添加的搜索引擎的favicon图标。
这个插件能记录Google和Yahoo还有bing三个搜索引擎在网站上爬行的具体的详细信息!需要下载本插件!然后放到WordPress的plugin的文件里面!然后再WordPress后台启用就行了!
下面就截图让大家看看这个插件是怎么工作的!
下图是插件原版的观看页面:
下图是详细的关于搜索引擎的日志记录
插件的详细记录信息:
相当的简单的一个插件 就一个观看的界面和一个清除日志的功能键!!
原版:crawlrate 也可以到原版作者的博客去下载 : http://www.blogstorm.co.uk/WordPress-crawl-rate-tracker/
升级文件:crawlrate_Shanbei
升级方法: 将升级文件直接上传覆盖就OK