[转载]
下面是Robot.txt的一些例子，只要把下列的任何一个代码保存为robots.txt，然后传到指定位置，就可以实现逃避搜索引擎的法眼：
下面是Robot.txt的一些例子，只要把下列的任何一个代码保存为robots.txt，然后传到指定位置，就可以实现逃避搜索引擎的法眼：
例1. 禁止所有搜索引擎访问网站的任何部分：
User-agent: *
Disallow: /
例2. 允许所有的robot访问：
User-agent: *
Disallow:
例3. 禁止某个搜索引擎的访问：
User-agent: BadBot
Disallow: /
例4. 允许某个搜索引擎的访问：
User-agent: baiduspider
Disallow:
User-agent: *
Disallow: /
例5. 一个简单例子：
在这个例子中，（引导广告：好易广告联盟 http://www.okeaa.com）该网站有三个目录对搜索引擎的访问做了限制，即搜索引擎不会访问这三个目录。需要注意的是对每一个目录必须分开声明，而不要写成 "Disallow: /cgi-bin/ /bbs/"。User-agent:后的* 具有特殊的含义，代
表"any robot"，所以在该文件中不能有"Disallow: /bbs/*" or "Disallow: *.gif"这样的记录出现.
User-agent: *
Disallow: /cgi-bin/
Disallow: /bbs/
Disallow: /~private/
