07 2021 档案

摘要:在编写爬虫代码的过程中,程序员会使用redis 集合进行去重,今天就测试一下redis去重需要多少内存的问题 过程:我们对10w,100w,1000w 的数字进行 md5 加密,生成唯一的32位字符串,然后存入到redis集合中去,通过rdm 的 内存分析占用查看redis的大小。 1. 对10w 阅读全文
posted @ 2021-07-24 17:11 淋哥 阅读(650) 评论(0) 推荐(0) 编辑
摘要:需要对一个数据进行精确的计算,比如 2.37% 需要得到 0.0237 首先看截图 得到的结果是 0.023700000000000002,这个肯定是不可以的, 解决办法: 代码: from decimal import Decimal def spider(): a = '2.37' res = 阅读全文
posted @ 2021-07-22 10:45 淋哥 阅读(298) 评论(0) 推荐(0) 编辑
摘要:在使用seleinum的时候,如果模拟谷歌或者火狐浏览器,出现一个界面的话太难受了所幸firefox和chrome都有了无头模式,也就是没有界面的浏览器,在内存中执行。 firefox设置: from selenium import webdriver options = webdriver.Fir 阅读全文
posted @ 2021-07-06 17:03 淋哥 阅读(854) 评论(0) 推荐(1) 编辑

点击右上角即可分享
微信分享提示