Google的“蜘蛛”程序为“Googlebot”，是google的搜索引擎机器人的意思，俗称google爬虫，属于非常活跃的网站扫描工具。Google 网站管理员工具中可以设置抓取速度，即Googlebot 抓取网站的频率。
Google 采用较为复杂的算法来确定对每个网站的抓取量。其目标是每次访问您的网站时，在不让您的服务器带宽过载的情况下尽量多抓取些页面。您可以更改对处于根级别的网站（例如，www.example.com 和 http://子域.example.com）的抓取速度，即 Googlebot 抓取该网站所使用的时间。您无法更改不在根级别上的网站（例如 www.example.com/文件夹）的抓取速度。 新的自定义抓取速度的有效期是 90 天。抓取速度会影响 Googlebot 请求在抓取过程中的速度，但不会影响 Googlebot 抓取网站的频率。Google 会根据您网站中的网页数量来确定建议的速度。
使用Google 网站管理员工具诊断和管理Googlebot 抓取网站的频率，是SEO搜索引擎优化人员要了解和关注的，善用之将取得事半功倍的效果。具体怎样通过Google 网站管理员工具来自定义设置Googlebot 抓取网站的频率，是简单明了的，这里不废话了。
