即时搜索，还是Google走的快一些

在看Google资讯的发布帮助时，看到一句话：

您可以通过创建 Robots.txt 文件或通过使用 META 标签来防止网络抓取器将您站点的某些部分编入索引。 请记住，我们对 Google 资讯使用的抓取机器人（称为 Googlebot）与对 Google 网络搜索使用的是同一个抓取机器人。 这就是说您对 Google 资讯修改的任何设置也会应用于 Google 网络搜索。 我们的其他抓取机器人，例如 Googlebot-Mobile 和 Googlebot-Image，将遵循您为 Googlebot 设置的规则，但是您也可以为这些特定的机器人设置其他规则。

Google资讯机器人和Google网络spider是同一个蜘蛛！不知道百度是个什么情况！