摘要:
Robots.txt是放在博客根目录给搜索引擎看的一个文件,告诉搜索引擎什么链接能收录什么链接不能收录以及什么搜索引擎能够收录,在SEO中有着举足轻重的作用。WordPress本身就有很多地方是非添加robots.txt不可的,比如:用了伪静态链接之后动态链接依然能访问博客。用Wordpress架设的博客有很多不同链接但相同内容的页面。Robots.txt的误区不添加Robots.txtRobots.txt作为搜索引擎机器人来到网站查看的第一个文件是很有必要精心设置的,搜索引擎机器人访问网站时,首先会查看站点根目录有没有Robots.txt文件,如果有这个文件就根据文件的内容确定收录范围,如果 阅读全文