【脱敏迁移】脱敏迁移提速关键步骤回顾
【当前效率】
21字段表(1id+20varchar2/nvarchar2),10字段脱敏,10字段保持,数据量1300万,在来源端和去向端都是Oracle12c以上数据库的情况下,在虚拟机上能在600s-700s内传输完,约2万条每秒,在服务器上能在300-400秒内传输完,约4万条每秒。
【提速的关键步骤】
读取时:ResultSet设值了fetchSize;https://www.cnblogs.com/heyang78/p/16506154.html
脱敏:采用数组操作文字,包括验证和替换;在外层设值LruCache;
调度:使用自动关闭的Pipe模式;https://www.cnblogs.com/heyang78/p/16485874.html
写入时:使用了ps的executeBatch;https://www.cnblogs.com/heyang78/p/16340155.html
END
【推荐】国内首个AI IDE,深度理解中文开发场景,立即下载体验Trae
【推荐】编程新体验,更懂你的AI,立即体验豆包MarsCode编程助手
【推荐】抖音旗下AI助手豆包,你的智能百科全书,全免费不限次数
【推荐】轻量又高性能的 SSH 工具 IShell:AI 加持,快人一步
· 无需6万激活码!GitHub神秘组织3小时极速复刻Manus,手把手教你使用OpenManus搭建本
· C#/.NET/.NET Core优秀项目和框架2025年2月简报
· Manus爆火,是硬核还是营销?
· 终于写完轮子一部分:tcp代理 了,记录一下
· 【杭电多校比赛记录】2025“钉耙编程”中国大学生算法设计春季联赛(1)
2018-07-24 【Canvas与诗词】录王昌龄诗《从军行之五》红旗半卷出辕门...