2014年12月17日
(转载)robots.txt写法大全和robots.txt语法的作用
摘要： 1如果允许所有搜索引擎访问网站的所有部分的话 我们可以建立一个空白的文本文档，命名为robots.txt放在网站的根目录下即可。robots.txt写法如下：User-agent: *Disallow:或者User-agent: *Allow: /2如果我们禁止所有搜索引擎访问网站的所有部分的话ro... 阅读全文
posted @ 2014-12-17 11:32 阿虎~ 阅读(148) 评论(0) 推荐(0) 编辑