Robots协议

 

正文

1 一般对爬虫的限制

  爬虫会造成问题

    对网站服务器的骚扰

    可能会引起法律问题

    而且可能由于爬虫具有一定的突破性, 可能获取一些平常不能获取到的数据造成隐私泄露

  一般对爬虫限制的两个方法

    1) 来源审查, 判断User-Agent进行限制

      具体来说就是根据HTTP来访的协议头中的User-Agent

    2) robots协议

2 robots协议

  在网站的根目录下, 有一个robots.txt文件就是该网站的robots协议的描述

  如果网站没有robots协议就说明该网站对网络爬虫没有限制

  robots的格式是

    User-agent : 拒绝的网络爬虫

    Disallow: 禁止爬取的目录

User-agent: HuihuiSpider 
Disallow: / 
#这个robots协议就说明不允许HuihuiSpider 爬取该网站的任何网页

  robots协议的规则

    robots是建议性的文件, 无法做到约束, 但是不遵守会存在法律风险

    如果爬取的性能类似人的操作, 不会造成对网站服务器性能的影响, 原则上可以忽略robots协议

posted @   weihuchao  阅读(692)  评论(0编辑  收藏  举报
编辑推荐:
· 智能桌面机器人:用.NET IoT库控制舵机并多方法播放表情
· Linux glibc自带哈希表的用例及性能测试
· 深入理解 Mybatis 分库分表执行原理
· 如何打造一个高并发系统?
· .NET Core GC压缩(compact_phase)底层原理浅谈
阅读排行:
· 开发者新选择:用DeepSeek实现Cursor级智能编程的免费方案
· Tinyfox 发生重大改版
· 独立开发经验谈:如何通过 Docker 让潜在客户快速体验你的系统
· 小米CR6606,CR6608,CR6609 启用SSH和刷入OpenWRT 23.05.5
· 近期最值得关注的AI技术报告与Agent综述!
点击右上角即可分享
微信分享提示