会员
周边
众包
新闻
博问
闪存
赞助商
所有博客
当前博客
我的博客
我的园子
账号设置
简洁模式
...
退出登录
注册
登录
张京墨
博客园
首页
新随笔
联系
订阅
管理
2019年9月7日
爬虫技术:去重知识点
摘要: 1. 去重的场景 url去重:防止发送重复请求 数据文本去重:防止储存重复数据 2.数据去重的原理 什么类型的数据: 重复的依据是什么: 例如: data1 = ["123",123,"456","qwe","qwe"] 列表去重方法: 例如: data1 = ["123",123,"456","q
阅读全文
posted @ 2019-09-07 23:07 张京墨
阅读(568)
评论(0)
推荐(0)
编辑
公告