摘要: 有的时候我们的网站可能还在调试阶段,或者只对部分告知用户或内部人使用,可能不想让搜索引擎抓取我们的网站,以下介绍几种屏蔽搜索引擎的抓取:1.在网站的根目录下创建robots.txt,添加内容:User-agent:* Disallow:/ 禁止某一搜索引擎,如百度:User-agent:baidus... 阅读全文
posted @ 2014-11-24 14:17 ItcastZc 阅读(652) 评论(0) 推荐(0) 编辑