1.文件名为:robots.txt
2.文件存放在网站根目录下。
3.文件以ansi编码保存。
示例：
User-agent: *
Disallow: /BBS
在线robots.txt检测：http://tool.motoricerca.info/robots-checker.phtml
robots.txt编写规范：http://www.robotstxt.org/orig.html
|
|||
|
1.文件名为:robots.txt 2.文件存放在网站根目录下。 3.文件以ansi编码保存。 示例： User-agent: * Disallow: /BBS
在线robots.txt检测：http://tool.motoricerca.info/robots-checker.phtml robots.txt编写规范：http://www.robotstxt.org/orig.html 
|
|||