2020年11月10日
python爬虫（一）----robots协议
摘要： 1.介绍 robots协议也叫robots.txt（统一小写）是一种ASCII编码的文本文件，它通常告诉网络搜索引擎的爬虫，此网站中的哪些内容是不应被搜索引擎获取的，哪些是可以被获取的。因为一些系统中的URL是大小写敏感的，所以robots.txt的文件名应统一为小写。robots.txt应放置于网 阅读全文
posted @ 2020-11-10 14:41 小测试00 阅读(547) 评论(0) 推荐(0) 编辑