06 2022 档案

Robot.txt协议

摘要：协议目的用来和善意爬虫达成爬取内容的约定善意爬虫访问站点时会首先检查该站点根目录下是否存在robots.txt，如果存在，善意爬虫按照文件内容确定访问范围，如果不存在，爬虫会将所有能访问的页面一并爬走。如果访问控制做得好，就不需要这个命令协议内容在网站根目录下存放一个ASCII编码的文本文阅读全文

posted @ 2022-06-02 15:38 srid 阅读(292) 评论(0) 推荐(0) 编辑