kettle全量同步数据库简易教程

1 前言

项目中经常会对数据库进行全量同步，常常使用数据库工具进行导入导出，但是这种方式并不适用域所有场景，例如数据量大、生产环境不允许登录服务器等情况。
所以对于以上特殊情况我们常常采用kettle或者datax等工具进行数据同步。本文介绍kettle做整个数据库同步的方法。

2 下载kettle

官网比较卡，所以上镜像网站下载（8.2版本）：
http://mirror.bit.edu.cn/pentaho/Pentaho%208.2/client-tools/
如果你想从官网下载，注意百度搜索出来的那个不是官网，这个才是：
https://community.hitachivantara.com/s/article/data-integration-kettle

3 入门

 

可以看到进入kettle后主要有转换和作业两入口，转换就是配置一个数据etl的过程，包括数据输入、数据映射、数据过滤、数据存储等；而作业就是可配置的定时任务。

4 数据库全量同步

1）创建数据库连接

 

 

这里要注意，mysql数据库如果连接不上，往往是数据库驱动的问题，下载5版本的mysql驱动最新版放到目录中的lib和libswt\win64下即可。

接下来点击工具=>向导=>复制多表向导 ；选择源数据库和目标数据库

 

选择要同步的表

 

填写任务名称和存储路径：

 

可以看到任务已经生成，点击执行即可：

 

 

转链接：https://www.jianshu.com/p/f300d482db8f