屏蔽搜索引擎收录robots.txt文件下载

一般在搜索引擎后加/robots.txt就可以了，把它复制到txt中

例如

http://www.baidu.com/robots.txt

http://www.google.com/robots.txt