02 Python爬虫之盗亦有道

目录

网络爬虫的尺寸

网络爬虫的尺寸

网络爬虫的限制

  • 来源审查：判断User-Agent进行限制

    检查来访HTTP协议头的User-Agent域，只响应浏览器或友好爬虫的访问

  • 发布公告：Robots协议

    告知所有爬虫网站的爬取策略，要求爬虫遵守

Robots协议

作用：

​ 网站告知网络爬虫哪些网页可以爬取，哪些不行

形式：

​ 在网站根目录下的robots.txt文件

对Robots协议的理解

对Robots协议的理解

posted @ 2019-08-02 20:40  正在学习的Barry  阅读(234)  评论(0)  编辑  收藏  举报
-->