会员
周边
众包
新闻
博问
闪存
赞助商
所有博客
当前博客
我的博客
我的园子
账号设置
简洁模式
...
退出登录
注册
登录
雨中无伞与您一同见证前端开发,这里提供最新前端开发知识
雨中无伞-----WEB前端开发
博客园
首页
新随笔
联系
管理
订阅
2008年12月6日
如何使用robots.txt及其详解
摘要: 在国内,网站管理者似乎对robots.txt并没有引起多大重视,应一些朋友之请求,今天想通过这篇文章来简单谈一下robots.txt的写作。 robots.txt基本介绍 robots.txt是一个纯文本文件,在这个文件中网站管理者可以声明该网站中不想被robots访问的部分,或者指定搜索引擎只收录指定的内容。 当一个搜索机器人(有的叫搜索蜘蛛)访问一个站点时,它会首先检查该站点根目录下是否存在...
阅读全文
posted @ 2008-12-06 10:29 yuzhongwusan
阅读(38015)
评论(7)
推荐(6)
编辑