摘要：
[转载]下面是Robot.txt的一些例子，只要把下列的任何一个代码保存为robots.txt，然后传到指定位置，就可以实现逃避搜索引擎的法眼： 例1. 禁止所有搜索引擎访问网站的任何部分： User-agent: * Disallow: / 例2. 允许所有的robot访问： User-agent: * Disallow: 例3. 禁止某个搜索引擎的访问： ... 阅读全文
posted @ 2006-11-23 11:41 孜孜 阅读(560) 评论(0) 推荐(0) 编辑