爬虫带来的问题

爬虫的限制

 

来源审查
发布公告

 

 

 Robots协议

 

 

实例

 

 

 Robots协议基本语法

 

robots协议都在根目录下

 

 

 Robots协议的遵守方式

使用

网络爬虫： 自动或人工识别robots.txt,再进行内容爬取。

约束性

 

 如何遵守