Kettle
同源情况（源表与目标表在同一个DB下）
- commitSize(1000)
- transMeta方式
| 数据库ip | 源表 | 目标表 | 数据规模 | 开始时间 | 结束时间 | 耗时 |
|---|---|---|---|---|---|---|
| 192.168.2.200 | web-user_info | web-user—info-copy | 10w | 2021-05-12 17:11:16.365 | 2021-05-12 17:23:14.659 | 12min |
不同源情况
| 源数据库ip | 源表 | 目标数据源ip | 目标数据库表 | 数据规模 | 开始时间 | 结束时间 | 耗时 |
|---|---|---|---|---|---|---|---|
| 192.168.2.225 | web-user_info | 192.168.2.200 | web-user—info-copy | 10w | 2021-05-12T17:28:37.301 | 2021-05-12T17:31:31.555 | 3min |
图形化界面(4c8g)
| 源数据库ip | 源表 | 目标数据源ip | 目标数据库表 | 数据规模 | 开始时间 | 结束时间 | 耗时 |
|---|---|---|---|---|---|---|---|
| 192.168.2.225 | web-user_info | 192.168.2.200 | web-user—info-copy | 10w | 2021-05-12T17:28:37.301 | 2021-05-12T17:31:31.555 | 2min46s |
优化连接MySQL参数
读场景
- useServerPrepStmts=true
- cachePrepStmts=true
写场景
- useServerPrepStmts=false
- rewriteBatchedStatements=true
- useCompression=true
参数说明
- useCompression=true，压缩数据传输，优化客户端和MySQL服务器之间的通信性能。
- rewriteBatchedStatements=true ，开启批量写功能
| 源数据库ip | 源表 | 目标数据源ip | 目标数据库表 | 数据规模 | 开始时间 | 结束时间 | 耗时 |
|---|---|---|---|---|---|---|---|
| 192.168.2.225 | web-user_info | 192.168.2.200 | web-user—info-copy | 10w | 2021-05-13T09:02:08.219 | 2021-05-13T09:02:17.803 | 9s |
图形化界面(4c8g)
源数据库配置
目标数据库配置
| 源数据库ip | 源表 | 目标数据源ip | 目标数据库表 | 数据规模 | 耗时 |
|---|---|---|---|---|---|
| 192.168.2.225 | web-user_info | 192.168.2.200 | web-user—info-copy | 10w | 9.3s |
不同commitSize配置
- 已配置数据库优化
- 读 max_connections 设置为500
| commitSize | 开始时间 | 结束时间 | 耗时 |
|---|---|---|---|
| 1000 | 2021-05-13T09:02:08.219 | 2021-05-13T09:02:17.803 | 9s |
| 2000 | 2021-05-13T09:30:59.563 | 2021-05-13T09:31:08.222 | 9s |
| 3000 | 2021-05-13T09:34:03.339 | 结束时间:2021-05-13T09:34:11.627 | 8s |
| 4000 | 2021-05-13T09:35:29.937 | 2021-05-13T09:35:38.302 | 9s |
| 5000 | 2021-05-13T09:36:31.333 | 2021-05-13T09:36:39.046 | 8s |
- 仅配置数据库优化情况
| commitSize | 开始时间 | 结束时间 | 耗时 |
|---|---|---|---|
| 1000 | 2021-05-13T09:44:00.488 | 2021-05-13T09:44:09.950 | 9s |
| 2000 | 2021-05-13T09:42:19.654 | 2021-05-13T09:42:28.961 | 9s |
| 3000 | 2021-05-13T09:41:16.073 | 2021-05-13T09:41:24.577 | 8s |
| 4000 | 2021-05-13T09:40:12.387 | 2021-05-13T09:40:20.680 | 8s |
| 5000 | 2021-05-13T09:38:33.182 | 2021-05-13T09:38:40.834 | 7s |
| 6000 | 2021-05-13T10:03:55.195 | 2021-05-13T10:04:03.525 | 8s |
| 7000 | 2021-05-13T10:05:17.773 | 2021-05-13T10:05:26.159 | 9s |
可见max_connection对提效作用不大
- 未配置数据库优化
| commitSize | 开始时间 | 结束时间 | 耗时 |
|---|---|---|---|
| 1000 | 2021-05-13T10:08:52.455 | 2021-05-13T10:12:01.506 | 3min |
| 5000 | 2021-05-13T09:48:15.344 | 2021-05-13T09:51:24.158 | 3min |
综上,参数调优list如下
- MySQL连接优化
| useServerPrepStmts | cachePrepStmts | rewriteBatchedStatements | useCompression | |
|---|---|---|---|---|
| 读 | true | true | null | null |
| 写 | false | null | true | true |
- commitSize 配置为5000
