2020年9月23日
网络爬虫遵守规则
摘要： 网络爬虫引发的问题 网络爬虫的尺寸 网络爬虫骚扰 网络爬虫的法律风险 网络爬虫泄露隐私 网络爬虫的限制 1.通过请求头 2.发布公告：Robots协议 告知所有爬虫网站的爬取策略，要求爬虫遵守。 Robots协议 网络爬虫排除标准 作用：告知网络爬虫哪些页面可以抓取，哪些不行 形式：在网站根目录下的 阅读全文
posted @ 2020-09-23 11:38 yescarf 阅读(887) 评论(0) 推荐(0) 编辑