爬虫Agent汇总
Baidu
1. 什么是Baiduspider
Baiduspider是百度搜索引擎的一个自动程序，它的作用是访问互联网上的网页，建立索引数据库，使用户能在百度搜索引擎中搜索到您网站上的网页。
2. Baiduspider的user-agent是什么？
索引擎百度各个产品使用不同的user-agent:
| 产品名称 | 对应user-agent |
| 网页搜索 |
Baiduspider |
| 移动搜索 |
Baiduspider |
| 图片搜索 | Baiduspider-image |
| 视频搜索 | Baiduspider-video |
| 新闻搜索 | Baiduspider-news |
| 百度搜藏 | Baiduspider-favo |
| 百度联盟 | Baiduspider-cpro |
| 商务搜索 | Baiduspider-ads |
3.如何区分PC与移动网页搜索的UA
PC搜索完整UA：Mozilla/5.0 (compatible; Baiduspider/2.0; +http://www.baidu.com/search/spider.html）
移动搜索完整UA：Mozilla/5.0 (Linux;u;Android 4.2.2;zh-cn;) AppleWebKit/534.46 (KHTML,like Gecko) Version/5.1 Mobile Safari/10600.6.3 (compatible; Baiduspider/2.0; +http://www.baidu.com/search/spider.html)
pc ua：通过关键词Baiduspider/2.0来确定是pc ua
移动ua：通过关键词android和mobile确定是来自移动端抓取访问，Baiduspider/2.0 确定为百度爬虫。
6. 如何判断是否冒充Baiduspider的抓取？
建议您使用DNS反向查找和DNS正向查找相结合的方式来确定抓取来源的ip是否属于百度，根据平台不同验证方法不同，如linux/windows/os三种平台下的验证方法分别如下：
6.1 在linux平台下：（1）使用host ip命令反解ip来判断是否来自Baiduspider的抓取。Baiduspider的hostname以 *.baidu.com 或 *.baidu.jp 的格式命名，非 *.baidu.com 或 *.baidu.jp 即为冒充。（2）使用host命令对第一步中的检索到的域名运行DNS正向查找，验证该域名与访问服务器的原始ip地址是否一致。
示例1：
$ host 123.125.66.120 120.66.125.123.in-addr.arpa domain name pointer baiduspider-123-125-66-120.crawl.baidu.com.
$ host baiduspider-123-125-66-120.crawl.baidu.com
baiduspider-123-125-66-120.crawl.baidu.com has address 123.125.66.120
示例2：
$host 119.63.195.254
254.195.63.119.in-addr.arpa domain name pointer BaiduMobaider-119-63-195-254.crawl.baidu.jp.
$host BaiduMobaider-119-63-195-254.crawl.baidu.jp
BaiduMobaider-119-63-195-254.crawl.baidu.jp has address 119.63.195.254
6.2 在windows平台或者IBM OS/2平台下：（1）使用nslookup ip命令反解ip来 判断是否来自Baiduspider的抓取。打开命令处理器 输入nslookup xxx.xxx.xxx.xxx（IP地 址）就能解析ip， 来判断是否来自Baiduspider的抓取，Baiduspider的hostname以 *.baidu.com 或 *.baidu.jp 的格式命名，非 *.baidu.com 或 *.baidu.jp 即为冒充。（2）使用 nslookup命令对第一步中检索到的域名进行DNS正向查找，验证该域名与访问服务器的原始ip地址是否一致。
6.3 在mac os平台下：（1）使用dig 命令反解ip来判断是否来自Baiduspider的抓取。打开命令处理器 输入dig xxx.xxx.xxx.xxx（IP地 址）就能解析ip，来判断是否来自Baiduspider的抓取，Baiduspider的hostname以 *.baidu.com 或 *.baidu.jp 的格式命名，非 *.baidu.com 或 *.baidu.jp 即为冒充；（2）使用 dig命令对第一步中检索到的域名进行DNS正向查找，验证该域名与访问服务器的原始ip地址是否一致。
7. 我不想我的网站被Baiduspider访问，我该怎么做？
Baiduspider遵守互联网robots协议。您可以利用robots.txt文件完全禁止Baiduspider访问您的网站，或者禁止Baiduspider访问您网站上的部分文件。 注意：禁止Baiduspider访问您的网站，将使您的网站上的网页，在百度搜索引擎以及所有百度提供搜索引擎服务的搜索引擎中无法被搜索到。关于robots.txt的写作方法，请参看我们的介绍：robots.txt写作方法
您可以根据各产品不同的user-agent设置不同的抓取规则，如果您想完全禁止百度所有的产品收录，可以直接对Baiduspider设置禁止抓取。
以下robots实现禁止所有来自百度的抓取： User-agent: Baiduspider Disallow: /
以下robots实现禁止所有来自百度的抓取但允许图片搜索抓取/image/目录： User-agent: Baiduspider Disallow: /
User-agent: Baiduspider-image Allow: /image/
请注意：Baiduspider-cpro抓取的网页并不会建入索引，只是执行与客户约定的操作，所以不遵守robots协议，如果Baiduspider-cpro给您造成了困扰，请联系union1@baidu.com。 Baiduspider-ads抓取的网页并不会建入索引，只是执行与客户约定的操作，所以不遵守robots协议，如果Baiduspider-ads给您造成了困扰，请联系您的客户服务专员。
https://help.baidu.com/question?prod_id=99&class=476&id=2996
