会员
周边
众包
新闻
博问
闪存
赞助商
所有博客
当前博客
我的博客
我的园子
账号设置
简洁模式
...
退出登录
注册
登录
陈希章@中国
新随笔
联系
订阅
管理
2008年6月24日
robots.txt文件的奥秘
摘要: robots.txt毫无疑问是一个文本文件,关键在于这是一个特殊的文本文件。 在这个文件中网站管理者可以声明该网站中不想被robots访问的部分,或者指定搜索引擎只收录指定的内容。 当一个搜索机器人
阅读全文
posted @ 2008-06-24 16:44 陈希章
阅读(401)
评论(0)
推荐(0)
编辑
公告