禁止所有蜘蛛

新的网站,刚开始还没准备好,可能不想让搜索引擎收录,这个时候我们可以禁用所有蜘蛛就行了,可以在网站的根目录下创建一个robots.txt,然后再里面添加

User-agent: *
Disallow: /

就可以了..

posted @ 2011-03-04 15:26  双魂人生  阅读(239)  评论(0编辑  收藏  举报