摘要： 摘要: 1自动化单条insert => 单条insert的话插入5w条数据大约用时5秒左右，相对来说效率不高 2拼接sql语句，只执行一次insert =>使用这种批量插入方式插入5w条数据用时大约不到1秒 1.自动化单条insert # -*- coding:utf-8 -*- import ti 阅读全文

摘要： 看了几篇文章，觉得写的都不错，此处先不缀笔： 先贴几篇比较好的文章, 后续谈下自己的看法 说说数仓: https://www.jianshu.com/p/0a11c7f3cec2 数仓、数据湖、数据中台: https://segmentfault.com/a/1190000039970684 《大数 阅读全文

摘要： 场景: 采用 MongoShake 同步数据到kafka, 然后用python 处理, 做etl , 或者其他操作: # 同步 db_sea_user , db_tom_user to db_all_user (mongodb) , 并且添加db_name(customer) 代码: MongoOp 阅读全文

摘要： 目的: MongoShake 数据同步到kafka(json格式),是带有{"Name":"key","Value":"123"} 的json, 实际上这个json 为 {"key":"123"} 转换如下: import json ''' k:节点name v:节点value cn:当前节点 '' 阅读全文

摘要： python swich case,使用字典实现,原理,闭包 # swich case def handler_result(op, ns, value): todos = { "i": insert, "u": update, "d": delete } method = todos.get(op 阅读全文

摘要： 概要: 目的:增量同步mongodb 的数据(mongo需集群,或者副本集模式) 1.官网文档 2 基本安装,启动,监控 3.小试牛刀,最佳实践 0.官网文档: github: https://github.com/alibaba/MongoShake/ releases: https://gith 阅读全文

摘要： 场景: 一次性取出redis一个field中的所有key，并遍历。 方案一:(生产环境禁用keys) 使用redisTemplate.opsForHash().keys("filed") 前期数据量少，感j觉不到性能问题。数据量上去后keys方法严重消耗CPU，导致服务"假死", 其他连接阻塞 , 阅读全文

该文被密码保护。 阅读全文

摘要： SpringContextUtils import org.apache.commons.lang3.StringUtils; import org.springframework.beans.BeansException; import org.springframework.context.Ap 阅读全文

该文被密码保护。 阅读全文