Google新UserAgent 资讯(News)爬虫 网站可使用Robots.txt控制

Google新UserAgent 资讯(News)爬虫 网站可使用Robots.txt控制

        Google在技术不断改进，以求达到部分新闻站点的需求，Google管理员中心官方博客称为Google News爬虫增加新的UserAgent标识，网站可以通过Robots.txt控制内容是否被Google news爬虫抓取，如Robots.txt：

         User-agent: Googlebot
　　　　Disallow:
　　　　User-agent: Googlebot-News
　　　　Disallow: /

 就表示可以被Google通用爬虫爬取，拒绝被Google News爬虫爬取,这样内容出现google网页搜索结果中，而不出现google News搜索结果中。

 更详细的介绍可以参考Google管理员中心官方博客的New User Agent for News

---

最新相关内容： 
Google Caffeine搜索结果初探
Google Caffeine结束测试 准备正式上线
Matt Cutts：Caffeine将在明年初全部上线
Google Caffeine对SEO的影响
怎么进入UI Jazz Google新的搜索界面？

---

将本文收藏到：   365Key