robots协议

Robots文件：

　　限制搜索引擎：

　　　　User-agent : *

　　　　User-agent : baiduspider

　　　　User-agent : googlebot

　　禁止百度抓取：

　　　　Disallow : /admin/admin.php

　　　　Disallow : /a/

　　允许抓取：

　　　　Allow : /a/e/

　　　　Allow要跟disallow配合使用；

　　常见写法：

　　　　User-agent : *

　　　　Disallow : /admin/admin.php

　　　　Disallow : /a/

　　其它写法：

　　　　User-agent : *

　　　　Disallow : /admin/admin.php

　　　　Disallow : /a/

　　　　Allow : /a/e/

　　---------

　　　　User-agent : baiduspider

　　　　Disallow : 

　　　　只允许baidu抓取；

　　---------

　　　　User-agent : *

　　　　Disallow : /　　

　　　　所有搜索引擎都不能抓取；