摘要:
一:什么是Robots。Robots.txt文件是我们用来规范搜索引擎蜘蛛在索引网站时的索引范围。防止搜索引擎索引我们网站的私密文件。注意事项:1) 必须放在根目录下。2) 文件名必须全部小写。3) 如果允许全部抓取,也需要建立一个空的Robots.txt文件。4) Robots.txt禁止的文件仍然有可能出现在搜索结果中。如需完全禁止需要用Meta Robots属性。5) Robots只是一种规则,需要搜索引擎的配合。如若搜索引擎不遵守则无意义。二:Robots.txt文件的语法规则。1) Robots.txt中的记录是以空行来分开的,每行的格式如下:“:”表示定义域,表示开放空格,表示定义 阅读全文
posted @ 2012-04-26 23:46 乌雲安全 阅读(2721) 评论(0) 推荐(0) 编辑