python批量插mysql 2种方法 对比 装饰器timer
摘要:摘要: 1自动化单条insert => 单条insert的话插入5w条数据大约用时5秒左右,相对来说效率不高 2拼接sql语句,只执行一次insert =>使用这种批量插入方式插入5w条数据用时大约不到1秒 1.自动化单条insert # -*- coding:utf-8 -*- import ti
阅读全文
posted @
2021-09-28 17:01
lshan
阅读(121)
推荐(0) 编辑
数仓 & 数据湖小结
摘要:看了几篇文章,觉得写的都不错,此处先不缀笔: 先贴几篇比较好的文章, 后续谈下自己的看法 说说数仓: https://www.jianshu.com/p/0a11c7f3cec2 数仓、数据湖、数据中台: https://segmentfault.com/a/1190000039970684 《大数
阅读全文
posted @
2021-09-28 16:08
lshan
阅读(67)
推荐(0) 编辑
mongo 增量同步之 MongoShake(3) kafka python处理kafka oplog mongoUtils
摘要:场景: 采用 MongoShake 同步数据到kafka, 然后用python 处理, 做etl , 或者其他操作: # 同步 db_sea_user , db_tom_user to db_all_user (mongodb) , 并且添加db_name(customer) 代码: MongoOp
阅读全文
posted @
2021-09-27 17:45
lshan
阅读(181)
推荐(0) 编辑
mongo 增量同步之 MongoShake(2) kafka json to python json
摘要:目的: MongoShake 数据同步到kafka(json格式),是带有{"Name":"key","Value":"123"} 的json, 实际上这个json 为 {"key":"123"} 转换如下: import json ''' k:节点name v:节点value cn:当前节点 ''
阅读全文
posted @
2021-09-27 17:33
lshan
阅读(89)
推荐(0) 编辑
python swich case
摘要:python swich case,使用字典实现,原理,闭包 # swich case def handler_result(op, ns, value): todos = { "i": insert, "u": update, "d": delete } method = todos.get(op
阅读全文
posted @
2021-09-27 11:44
lshan
阅读(38)
推荐(0) 编辑
mongodb 增量同步之 MongoShake(1)
摘要:概要: 目的:增量同步mongodb 的数据(mongo需集群,或者副本集模式) 1.官网文档 2 基本安装,启动,监控 3.小试牛刀,最佳实践 0.官网文档: github: https://github.com/alibaba/MongoShake/ releases: https://gith
阅读全文
posted @
2021-09-26 16:41
lshan
阅读(2971)
推荐(0) 编辑
redis scan & kyes p*
摘要:场景: 一次性取出redis一个field中的所有key,并遍历。 方案一:(生产环境禁用keys) 使用redisTemplate.opsForHash().keys("filed") 前期数据量少,感j觉不到性能问题。数据量上去后keys方法严重消耗CPU,导致服务"假死", 其他连接阻塞 ,
阅读全文
posted @
2021-09-18 16:02
lshan
阅读(180)
推荐(0) 编辑
SpringContextUtils Spring 工具类
摘要:SpringContextUtils import org.apache.commons.lang3.StringUtils; import org.springframework.beans.BeansException; import org.springframework.context.Ap
阅读全文
posted @
2021-09-10 11:05
lshan
阅读(1705)
推荐(0) 编辑
idea 个人文件信息模板
摘要:idea 个人文件信息模板,之前没有设置的同学,参考设置下: 选择File --> Settings --> Editor --> Code Style --> File and Code Templates --> Python Script java : class #if (${PACKAGE
阅读全文
posted @
2021-09-01 09:48
lshan
阅读(206)
推荐(0) 编辑