陋室铭
永远也不要停下学习的脚步(大道至简至易)

posts - 2169,comments - 570,views - 413万

谷歌的网页抓取机器人,类似于中国的Baiduspider(百度蜘蛛)

Googlebot 和Mediapartners-Google 是非常勤奋的机器人,如果他们影响到你服务器的承受力,你可以通过 robots.txt 文件加以制止。

Googlebot指的是Google的机器人,或蜘蛛。一般Google会让不同的Googlebot来对你的网页内容进行处理,其中包括:

1, 抓取文字内容,获取内容来保存于Google网页搜索和新闻搜索的数据库。
  2, Googlebot-mobile:它的功能是抓取网页中的文字内容来让手机用户搜索。
  3, Googlebot-Image:抓取网页内的图片内容,保存入Google 图片搜索数据库。
  4, Mediapartners-Google:抓取网页中的文字内容,用于Google Adsense 分析关键词。只有投放了Google Adsense 的网页才会被 Mediapartners-Google 探测器爬取。
  5, Adsbot-Google:抓取网页中的文字内容,用于为Google AdWords 提供参考。只有Google AdWords 的目标网页才会被 Adsbot-Google 探测器爬取。

posted on   宏宇  阅读(520)  评论(0编辑  收藏  举报
编辑推荐:
· AI与.NET技术实操系列:基于图像分类模型对图像进行分类
· go语言实现终端里的倒计时
· 如何编写易于单元测试的代码
· 10年+ .NET Coder 心语,封装的思维:从隐藏、稳定开始理解其本质意义
· .NET Core 中如何实现缓存的预热?
阅读排行:
· 分享一个免费、快速、无限量使用的满血 DeepSeek R1 模型,支持深度思考和联网搜索!
· 25岁的心里话
· 基于 Docker 搭建 FRP 内网穿透开源项目(很简单哒)
· ollama系列01:轻松3步本地部署deepseek,普通电脑可用
· 按钮权限的设计及实现
历史上的今天:
2016-01-10 showModalDialog()子窗口刷新父窗口
2007-01-10 写了一个分页存储过程把总记录数也写到返回表的每行了
< 2025年3月 >
23 24 25 26 27 28 1
2 3 4 5 6 7 8
9 10 11 12 13 14 15
16 17 18 19 20 21 22
23 24 25 26 27 28 29
30 31 1 2 3 4 5

点击右上角即可分享
微信分享提示