Robots协议
正文
1 一般对爬虫的限制
爬虫会造成问题
对网站服务器的骚扰
可能会引起法律问题
而且可能由于爬虫具有一定的突破性, 可能获取一些平常不能获取到的数据造成隐私泄露
一般对爬虫限制的两个方法
1) 来源审查, 判断User-Agent进行限制
具体来说就是根据HTTP来访的协议头中的User-Agent
2) robots协议
2 robots协议
在网站的根目录下, 有一个robots.txt文件就是该网站的robots协议的描述
如果网站没有robots协议就说明该网站对网络爬虫没有限制
robots的格式是
User-agent : 拒绝的网络爬虫
Disallow: 禁止爬取的目录
User-agent: HuihuiSpider
Disallow: /
#这个robots协议就说明不允许HuihuiSpider 爬取该网站的任何网页
robots协议的规则
robots是建议性的文件, 无法做到约束, 但是不遵守会存在法律风险
如果爬取的性能类似人的操作, 不会造成对网站服务器性能的影响, 原则上可以忽略robots协议
【推荐】凌霞软件回馈社区,博客园 & 1Panel & Halo 联合会员上线
【推荐】轻量又高性能的 SSH 工具 IShell:AI 加持,快人一步
· 智能桌面机器人:用.NET IoT库控制舵机并多方法播放表情
· Linux glibc自带哈希表的用例及性能测试
· 深入理解 Mybatis 分库分表执行原理
· 如何打造一个高并发系统?
· .NET Core GC压缩(compact_phase)底层原理浅谈
· 开发者新选择:用DeepSeek实现Cursor级智能编程的免费方案
· Tinyfox 发生重大改版
· 独立开发经验谈:如何通过 Docker 让潜在客户快速体验你的系统
· 小米CR6606,CR6608,CR6609 启用SSH和刷入OpenWRT 23.05.5
· 近期最值得关注的AI技术报告与Agent综述!