使用 MD5 加密 去重对插入的影响
现在有3000条数据，需要插入到数据库中去，使用的是对链接进行MD5加密，
hashcode = md5(str(item_url))
然后在数据库中设置 hashcode 为UNIQUE索引
3000条数据全部插入完毕，耗时是32s
不使用MD5加密，耗时30秒。
结论：去重对时间影响不大
如果觉得对您有帮助，麻烦您点一下推荐，谢谢！
好记忆不如烂笔头
好记忆不如烂笔头
|
|||||||||
| 日 | 一 | 二 | 三 | 四 | 五 | 六 | |||
|---|---|---|---|---|---|---|---|---|---|
| 23 | 24 | 25 | 26 | 27 | 28 | 1 | |||
| 2 | 3 | 4 | 5 | 6 | 7 | 8 | |||
| 9 | 10 | 11 | 12 | 13 | 14 | 15 | |||
| 16 | 17 | 18 | 19 | 20 | 21 | 22 | |||
| 23 | 24 | 25 | 26 | 27 | 28 | 29 | |||
| 30 | 31 | 1 | 2 | 3 | 4 | 5 | |||
搜索
最新随笔
- 1.ddddocr 点选验证码识别
- 2.DrissionPage 下载文件 设置文件指定下载路径
- 3.我现在有三台服务器，分别是A,B,C，这三个服务器，在b服务器部署一个接口，接口是 https://cloud.tencent.com:8080/xxx/xx/xxx?ssd=dd, A 服务器请求 b服务器的接口，要求把a服务器的请求，都经过c服务器，然后再转发到a服务器，如何实现这个目标
- 4."Content-Type": "multipart/form-data; boundary= multipart/form-data
- 5.OSError: [E050] Can't find model 'zh_core_web_sm'. It doesn't seem to be a Python package or a valid path to a data directory.
- 6.某个知识星球 X-Signature
- 7.一亿条数据查找一百万条数据
- 8.python 布隆过滤器
- 9.pdf 添加页脚
- 10.python 移除 pdf 密码
我的标签
- redis(3)
- python(3)
- windows下安装python 安装django django安装 python(1)
- string 详解(1)
- sql注入(1)
- redis字符串(1)
- redis list(1)
- Python实现百度搜索(1)
- Python操作redis(1)
- python Multiprocessing 爬虫 实例(1)
- Python 日志(1)
- python 奇偶拆分list(1)
- Python zip(1)
- python redis 有序集合(1)
- python 执行sql得到字典格式数据 mysql(1)
- Max retries exceeded with(1)
- key(1)
- Hash(1)
- 字符串(1)
- 验证码识别(1)
- 详解(1)
- 算法(1)
- 瑞数(1)
- 爬取百度图片(1)
- 爬虫实例(1)
- 列表推导式 字典推导式 集合推导式 嵌套列表推导式(1)
- 经验(1)
- 教训(1)
- 哈希(1)
- 哈夫曼编码(1)
- 更多
积分与排名
- 积分 - 780487
- 排名 - 633
随笔分类 (338)
随笔档案 (452)
- 2025年2月(3)
- 2025年1月(7)
- 2024年12月(4)
- 2024年11月(1)
- 2024年10月(1)
- 2024年5月(1)
- 2024年4月(1)
- 2024年3月(1)
- 2024年1月(3)
- 2023年6月(1)
- 2023年5月(2)
- 2023年4月(2)
- 2023年3月(1)
- 2023年2月(1)
- 2022年11月(2)
- 2022年9月(1)
- 2022年8月(6)
- 2022年7月(2)
- 2022年6月(5)
- 2022年5月(4)
- 2022年4月(4)
- 2022年3月(3)
- 2022年2月(1)
- 2022年1月(5)
- 2021年12月(2)
- 2021年11月(4)
- 2021年10月(1)
- 2021年8月(1)
- 2021年7月(3)
- 2021年6月(14)
- 2021年5月(5)
- 2021年4月(6)
- 2021年3月(13)
- 2020年12月(1)
- 2020年11月(2)
- 2020年10月(5)
- 2020年7月(1)
- 2020年6月(2)
- 2020年5月(2)
- 2020年4月(1)
- 2019年12月(3)
- 2019年11月(1)
- 2019年10月(2)
- 2019年9月(2)
- 2019年8月(15)
- 2019年7月(2)
- 2019年6月(1)
- 2019年5月(4)
- 2019年4月(5)
- 2019年3月(1)
- 2019年2月(4)
- 2019年1月(3)
- 2018年12月(5)
- 2018年11月(2)
- 2018年10月(3)
- 2018年9月(3)
- 2018年8月(4)
- 2018年7月(6)
- 2018年6月(6)
- 2018年5月(2)
- 2018年4月(2)
- 2018年3月(10)
- 2018年2月(2)
- 2018年1月(10)
- 2017年12月(10)
- 2017年11月(9)
- 2017年10月(31)
- 2017年9月(8)
- 2017年7月(17)
- 2017年6月(22)
- 2017年4月(20)
- 2017年2月(7)
- 2017年1月(19)
- 2016年12月(13)
- 2016年11月(18)
- 2016年9月(9)
- 2016年8月(5)
- 2016年7月(10)
- 2016年6月(10)
- 2016年5月(10)
- 2015年12月(2)
- 2015年11月(2)
- 2015年10月(1)
- 2015年9月(1)
- 2015年8月(3)
- 2015年7月(2)
- 更多
阅读排行榜
- 1. 查看linux系统常用的命令，Linux查看系统配置常用命令(251377)
- 2. MySQL多表查询(149704)
- 3. Python 实现字符串转换成列表 实现str转换list(87467)
- 4. Python 实现小数和百分数的相互转换(76167)
- 5. Python操作redis系列之 列表（list） (五)(66166)
- 6. python 验证码识别示例（一） 某个网站验证码识别(43532)
- 7. Python操作redis系列以 哈希(Hash)命令详解（四）(40794)
- 8. 如何修改Linux系统的 /etc/ssh/sshd_config 文件 "/etc/ssh/sshd_config" E212: Can't open file for writin(37831)
- 9. Python 实int型和list相互转换 现把float型列表转换为int型列表 把列表中的数字由float转换为int型(36449)
- 10. Python操作redis学习系列之（集合）set，redis set详解 （六）(34919)
- 11. django中的filter详解(31676)
- 12. HTTPSConnectionPool(host='xxxxx', port=443): Max retries exceeded with url:xxxxxxxx (Caused by NewConnectionError('<urllib3.connect，Max retries exceeded with ，(Caused by NewConnectionError(30916)
- 13. python中的 list （列表）append()方法 与extend()方法的用法 和 区别(26991)
- 14. VNC Viewer 设置屏幕分辨率(24827)
- 15. MYSQL单表可以存储多少条数据？？？(23775)
- 16. requests.exceptions.MissingSchema: Invalid URL 'xxxxxxxxxxxxx': No schema supplied. Perhaps you meant xxxxxxxxxxxxx(23089)
- 17. python 验证码识别示例（二） 复杂验证码识别(21306)
- 18. python 操作redis之——有序集合(sorted set) （七）(21064)
- 19. 数据流图（DFD）画法(20390)
- 20. 淘宝频繁访问会出现滑动验证码(19823)
评论排行榜
- 1. python 验证码识别示例（二） 复杂验证码识别(18)
- 2. 大众点评评论数据抓取 反爬虫措施有css文字映射和字体库反爬虫(10)
- 3. Python 爬虫js加密破解（三） 百度翻译 sign(6)
- 4. python 验证码识别示例（一） 某个网站验证码识别(5)
- 5. python 实现 AES ECB模式加解密(3)
- 6. 爬虫破解js加密破解（二） 有道词典js加密参数 sign破解(3)
- 7. selenium 实现网页截图(3)
- 8. wxauto 简单操作微信发送消息(2)
- 9. 烦人的警告 Deprecated: convertStrings was not specified when starting the JVM(2)
- 10. ip代理优化(2)
- 11. 验证码识别 图像降噪 Python (一）(2)
- 12. Python 爬虫实例（15） 爬取 汽车之家（汽车授权经销商）(2)
- 13. MySQL 两个数据库表中合并数据(2)
- 14. python标准库介绍——8 operator 模块详解(2)
- 15. tesseract中文语言文件包 下载(2)
- 16. Python 实现小数和百分数的相互转换(2)
- 17. django中的filter和get的区别 （MultipleObjectsReturned: get() returned more than one Publisher --）（DoesNotExist: Publisher matching query does not exist.）(2)
- 18. 如何把双引号包含到echo命令的字符串中(2)
- 19. 查看linux系统常用的命令，Linux查看系统配置常用命令(2)
- 20. linux 命令学习大全(2)
推荐排行榜
- 1. 查看linux系统常用的命令，Linux查看系统配置常用命令(24)
- 2. MySQL多表查询(13)
- 3. python 验证码识别示例（一） 某个网站验证码识别(10)
- 4. django.db.utils.OperationalError: no such table: auth_user(8)
- 5. python中的 list （列表）append()方法 与extend()方法的用法 和 区别(8)
- 6. 大众点评评论数据抓取 反爬虫措施有css文字映射和字体库反爬虫(6)
- 7. 爬虫破解js加密破解（二） 有道词典js加密参数 sign破解(6)
- 8. 数据流图（DFD）画法(6)
- 9. Python 实现小数和百分数的相互转换(5)
- 10. requests form data 请求 爬虫(4)
- 11. python 验证码识别示例（二） 复杂验证码识别(4)
- 12. Python操作redis系列之 列表（list） (五)(4)
- 13. 用xshell操作linux系统的常用命令(4)
- 14. python 多进程数量 对爬虫程序的影响(3)
- 15. python标准库介绍——8 operator 模块详解(3)
- 16. Python 算法（2） 哈夫曼编码 Huffman Encoding(3)
- 17. python 操作redis之——有序集合(sorted set) （七）(3)
- 18. Python操作redis学习系列之（集合）set，redis set详解 （六）(3)
- 19. django中的filter详解(3)
- 20. 如何把双引号包含到echo命令的字符串中(3)
最新评论
- 1. Re:wxauto 简单操作微信发送消息
使用场景是什么，你们公司不让装微信？
- --了悟
- 2. Re:wxauto 简单操作微信发送消息
这个会被官方检测到封号吗？
- --我将一人成团
- 3. Re:python 实现 AES CBC模式加解密
python 版本使用 python2.7
- --淋哥
- 4. Re:python 实现 AES ECB模式加解密
- 感谢大佬！！ 参考了您的文章里的一行代码（把您的文章链接放到文末了），我写了个更详细的Python的AES工具类，也是ECB模式+Pkcs7 padding的，...
- --RedB
- 5. Re:python 实现 AES ECB模式加解密
- 不过padding官方现在有库了，很方便，默认就是pkcs7 from Crypto.Util.Padding import pad, unpad pad(plaintext_bytes, 16)...
- --RedB
- 6. Re:python 实现 AES ECB模式加解密
赞诶~
- --RedB
- 7. Re:python 验证码识别示例（二） 复杂验证码识别
- @无觉-李敏 留个联系方式...
- --求教学路
- 8. Re:python 验证码识别示例（二） 复杂验证码识别
- @土豆3000 留个联系方式...
- --求教学路
- 9. Re:使用 python set 去重 速度到底是多快呢？？？
太快了
- --梁不工
- 10. Re:Mysql 的位运算符详解，mysql的优先级
楼主 能不能在写的通俗易懂。
- --孟江湖
- 11. Re:python 验证码识别示例（二） 复杂验证码识别
报错报错。。。
- --土豆3000
- 12. Re:python 验证码识别示例（二） 复杂验证码识别
fenlei. part ???这 辛苦博主放出来
- --无觉-李敏
- 13. Re:python得到今天前的七天每天日期
- date_to = datetime.datetime(day.year, day.month, day.day) 不重新生成date_to对象，直接用str(day)也是可以的吧？...
- --小伍子
- 14. Re:Python 爬虫实例（15） 爬取 汽车之家（汽车授权经销商）
- --唐僧洗头
- 15. Re:python 线程池的实现
你程序末尾没有main.stop()，你这个线程池是抄的，但是少了一行。
- --北风之神0509
- 16. Re:Python Tensorflow CNN 识别验证码
大佬，代码和文件还有吗
- --bcaixl
- 17. Re:Python得到两个时间段的每一天的列表
666
- --月河
- 18. Re:python 日志的配置，python对日志封装成类，日志的调用
- 你这个日志如果放在函数里面实例化，函数被多次调用，或者在for循环里面实例化，将会发生高斯求和的惨绝人寰的重复记录。 详细看第readme九章的介绍演示有多惨...
- --北风之神0509
- 19. Re:python 验证码识别示例（二） 复杂验证码识别
能分享下fenlei及part的文件夹吗
- --凹凸曼不打小怪兽
- 20. Re:Python 运行效率为何低
pypy你怎么看呢
- --MMMssg
【推荐】国内首个AI IDE，深度理解中文开发场景，立即下载体验Trae
【推荐】编程新体验，更懂你的AI，立即体验豆包MarsCode编程助手
【推荐】抖音旗下AI助手豆包，你的智能百科全书，全免费不限次数
【推荐】轻量又高性能的 SSH 工具 IShell：AI 加持，快人一步
· 如何编写易于单元测试的代码
· 10年+ .NET Coder 心语，封装的思维：从隐藏、稳定开始理解其本质意义
· .NET Core 中如何实现缓存的预热？
· 从 HTTP 原因短语缺失研究 HTTP/2 和 HTTP/3 的设计差异
· AI与.NET技术实操系列：向量存储与相似性搜索在 .NET 中的实现
· 10年+ .NET Coder 心语 ── 封装的思维：从隐藏、稳定开始理解其本质意义
· 地球OL攻略 —— 某应届生求职总结
· 周边上新：园子的第一款马克杯温暖上架
· Open-Sora 2.0 重磅开源！
· 提示词工程——AI应用必不可少的技术