会员
周边
众包
新闻
博问
闪存
所有博客
当前博客
我的博客
我的园子
账号设置
简洁模式
...
退出登录
注册
登录
rethink log
WEB项目管理/架构/LAMP/开发/测试
博客园
首页
新随笔
联系
订阅
管理
2009年11月9日
搜索引擎spider整理
摘要: 百度百度的spider的user agent都会包含Baiduspider 字符串。相关资料:http://www.baidu.com/search/spider.htmgooglegoogle的spider的user agent都会包含 Googlebot 字符串。相关资料:http://www.google.com/bot.htmlsosososo的spider的user agent都会包含S...
阅读全文
posted @ 2009-11-09 17:07 rethink
阅读(447)
评论(0)
推荐(0)
编辑
公告