随笔 - 835  文章 - 1 评论 - 40 阅读 - 102万
< 2025年2月 >
26 27 28 29 30 31 1
2 3 4 5 6 7 8
9 10 11 12 13 14 15
16 17 18 19 20 21 22
23 24 25 26 27 28 1
2 3 4 5 6 7 8

09 2021 档案
python批量插mysql 2种方法 对比 装饰器timer
摘要:摘要: 1自动化单条insert => 单条insert的话插入5w条数据大约用时5秒左右,相对来说效率不高 2拼接sql语句,只执行一次insert =>使用这种批量插入方式插入5w条数据用时大约不到1秒 1.自动化单条insert # -*- coding:utf-8 -*- import ti 阅读全文
posted @ 2021-09-28 17:01 lshan 阅读(121) 评论(0) 推荐(0) 编辑
数仓 & 数据湖小结
摘要:看了几篇文章,觉得写的都不错,此处先不缀笔: 先贴几篇比较好的文章, 后续谈下自己的看法 说说数仓: https://www.jianshu.com/p/0a11c7f3cec2 数仓、数据湖、数据中台: https://segmentfault.com/a/1190000039970684 《大数 阅读全文
posted @ 2021-09-28 16:08 lshan 阅读(67) 评论(0) 推荐(0) 编辑
mongo 增量同步之 MongoShake(3) kafka python处理kafka oplog mongoUtils
摘要:场景: 采用 MongoShake 同步数据到kafka, 然后用python 处理, 做etl , 或者其他操作: # 同步 db_sea_user , db_tom_user to db_all_user (mongodb) , 并且添加db_name(customer) 代码: MongoOp 阅读全文
posted @ 2021-09-27 17:45 lshan 阅读(181) 评论(0) 推荐(0) 编辑
mongo 增量同步之 MongoShake(2) kafka json to python json
摘要:目的: MongoShake 数据同步到kafka(json格式),是带有{"Name":"key","Value":"123"} 的json, 实际上这个json 为 {"key":"123"} 转换如下: import json ''' k:节点name v:节点value cn:当前节点 '' 阅读全文
posted @ 2021-09-27 17:33 lshan 阅读(89) 评论(2) 推荐(0) 编辑
python swich case
摘要:python swich case,使用字典实现,原理,闭包 # swich case def handler_result(op, ns, value): todos = { "i": insert, "u": update, "d": delete } method = todos.get(op 阅读全文
posted @ 2021-09-27 11:44 lshan 阅读(38) 评论(0) 推荐(0) 编辑
mongodb 增量同步之 MongoShake(1)
摘要:概要: 目的:增量同步mongodb 的数据(mongo需集群,或者副本集模式) 1.官网文档 2 基本安装,启动,监控 3.小试牛刀,最佳实践 0.官网文档: github: https://github.com/alibaba/MongoShake/ releases: https://gith 阅读全文
posted @ 2021-09-26 16:41 lshan 阅读(2971) 评论(0) 推荐(0) 编辑
redis scan & kyes p*
摘要:场景: 一次性取出redis一个field中的所有key,并遍历。 方案一:(生产环境禁用keys) 使用redisTemplate.opsForHash().keys("filed") 前期数据量少,感j觉不到性能问题。数据量上去后keys方法严重消耗CPU,导致服务"假死", 其他连接阻塞 , 阅读全文
posted @ 2021-09-18 16:02 lshan 阅读(180) 评论(0) 推荐(0) 编辑
paypal 异步消息通知IPN
该文被密码保护。
posted @ 2021-09-14 18:45 lshan 阅读(0) 评论(0) 推荐(0) 编辑
SpringContextUtils Spring 工具类
摘要:SpringContextUtils import org.apache.commons.lang3.StringUtils; import org.springframework.beans.BeansException; import org.springframework.context.Ap 阅读全文
posted @ 2021-09-10 11:05 lshan 阅读(1705) 评论(0) 推荐(0) 编辑
PayPal(java)订单支付  paypal
该文被密码保护。
posted @ 2021-09-03 15:55 lshan 阅读(8) 评论(0) 推荐(0) 编辑
idea 个人文件信息模板
摘要:idea 个人文件信息模板,之前没有设置的同学,参考设置下: 选择File --> Settings --> Editor --> Code Style --> File and Code Templates --> Python Script java : class #if (${PACKAGE 阅读全文
posted @ 2021-09-01 09:48 lshan 阅读(206) 评论(0) 推荐(0) 编辑

点击右上角即可分享
微信分享提示