禁止访问网站中所有的动态页面

robots.txt文件作如下设置:

User-agent: *
Disallow: /*?*

这三个需要注意的是: 

User-agent:   *

Disallow: Allow:    这三个和后面链接的时候中间要有空格。这个很多时候容易忽略。
忽略了对你网站没有影响 。但是可能会收录一些你不愿意搜索引擎收录的页面。

posted @ 2010-08-07 15:49  郭振斌  阅读(795)  评论(0编辑  收藏  举报