2008年6月24日
robots.txt文件的奥秘
摘要： robots.txt毫无疑问是一个文本文件，关键在于这是一个特殊的文本文件。 在这个文件中网站管理者可以声明该网站中不想被robots访问的部分，或者指定搜索引擎只收录指定的内容。 当一个搜索机器人 阅读全文
posted @ 2008-06-24 16:44 陈希章 阅读(401) 评论(0) 推荐(0) 编辑