robots.txt文件使用方法总结

robots就是一个必须放在网站根目录、让搜索蜘蛛读取的txt文件，文件名必须是小写的"robots.txt"。

通过robots.txt可以控制SE收录内容，告诉蜘蛛哪些文件和目录可以收录，哪些不可以收录。

常用方法：

1. 允许所有SE收录本站：robots.txt为空就可以，什么都不要写。

2. 禁止所有SE收录网站的某些目录：

User-agent: *
Disallow: /目录名1/
Disallow: /目录名2/
Disallow: /目录名3/

3. 禁止某个SE收录本站，例如禁止百度：

User-agent: Baiduspider
Disallow: /

4. 禁止所有SE收录本站：

User-agent: *
Disallow: /