2015年9月30日
怎么设置不让搜索引擎收录某些页面
摘要： 一、关于robots文件 1. 搜索引擎蜘蛛访问网站时,会先查看网站根目录下有没有robots.txt文件,该文件用于指令搜索引擎禁止抓取网站某些内容或 允许抓取某些内容。注意:就算允许抓取所有内容,也要建一个空的robots.txt文件放在根目录下。 2. 只有在需要禁止抓取某些内容时,rob... 阅读全文
posted @ 2015-09-30 16:59 寒夜美美 阅读(299) 评论(0) 推荐(0) 编辑