爬虫的限制
来源审查发布公告
Robots协议
实例
Robots协议基本语法
robots协议都在根目录下
Robots协议的遵守方式
使用
网络爬虫: 自动或人工识别robots.txt,再进行内容爬取。
约束性
如何遵守
posted on 2020-05-17 11:38 cltt 阅读(177) 评论(0) 编辑 收藏 举报
Powered by: 博客园 Copyright © 2024 cltt Powered by .NET 8.0 on Kubernetes