数据同步之DataX
目前业务中需要进行数据同步， 考虑使用datax数据同步方式替换掉现有的同步方式
业务场景：
即将业务中每天生成的日志表中的数据部分字段同步到自己的库中，进行后台数据的查询
起因：
之前“大神”写的逻辑中使用每三分钟更新一次的策略进行数据同步，在redis中进行计数和打标记的方式进行数据的增量同步，但是最近发现经常数据会发生丢失的问题，于是进行问题的修复
解决：
了解到运营对于这些数据的查询实时性并没有这么高，今天查询昨天的数据这种场景比较多，于是打算使用datax凌晨同步昨天的数据到本地即可，节省资源，减少调用业务的数据库频次
DataX: https://github.com/alibaba/DataX
基于java的同步开源项目，基本使用起来较为容易，简单配置即可，完成之后 3万多的数据 只需要不到10秒中就完成了数据同步工作
数据库-mysql相关的reader和writer相关配置参考：
- https://github.com/alibaba/DataX/blob/master/mysqlwriter/doc/mysqlwriter.md
- https://github.com/alibaba/DataX/blob/master/mysqlreader/doc/mysqlreader.md
当然他还支持很多的数据库
安装）
1）下载源码包
wget http://datax-opensource.oss-cn-hangzhou.aliyuncs.com/datax.tar.gz
基于java， 保证已经安装了Java，推荐8版本，安装方式，可见本博客，
cd /usr/local/src/ wget https://repo.huaweicloud.com/java/jdk/8u201-b09/jdk-8u201-linux-x64.tar.gz tar -zxvf jdk-8u201-linux-x64.tar.gz mv jdk1.8.0_201 /usr/local/ vim /etc/profile export JAVA_HOME=/usr/local/jdk1.8.0_201 export PATH=${JAVA_HOME}/bin:${PATH} source /etc/profile java -version 查看版本
2）解压datax
tar -zxvf datax.tar.gz 执行一个demo python datax/bin/datax.py datax/job/job.json 注意：这里使用的是python2 版本
2）示例
1.MySQL同步到MySQL
{ "job": { "setting": { "speed": { "byte":10485760 }, "errorLimit": { "record": 0, "percentage": 0.02 } }, "content": [ { "reader": { "name": "mysqlreader", "parameter": { "username": "root", "password": "123456", "connection": [ { "querySql": [ "select player_id,UNIX_TIMESTAMP(create_time) AS create_time from t_player_log__20210422" ], "jdbcUrl": [ "jdbc:mysql://127.0.0.1:3306/demo" ] } ] } }, "writer": { "name": "mysqlwriter", "parameter": { "writeMode": "insert", "username": "root", "password":"123456", "column": [ "player_id", "create_time" ], "session": [ "set names utf8mb4" ], "connection": [ { "encoding": "UTF-8", "jdbcUrl": "jdbc:mysql://127.0.0.1:3306/test", "table": [ "tt_player_log" ] } ] } } } ] } }
还支持传入参数的方式动态的配置（python bin/datax.py 支持的参数：-p），例如：
{ "job": { "setting": { "speed": { "byte":10485760 }, "errorLimit": { "record": 0, "percentage": 0.02 } }, "content": [ { "reader": { "name": "mysqlreader", "parameter": { "username": "${username}", "password": "${password}", "connection": [ { "querySql": [ "select player_id,UNIX_TIMESTAMP(create_time) AS create_time from t_player_log__${dateNum}" ], "jdbcUrl": [ "jdbc:mysql://${ip}:${port}/${db}" ] } ] } }, "writer": { "name": "mysqlwriter", "parameter": { "writeMode": "insert", "username": "root", "password":"123456", "column": [ "player_id", "create_time" ], "session": [ "set names utf8mb4" ], "connection": [ { "encoding": "UTF-8", "jdbcUrl": "jdbc:mysql://127.0.0.1:3306/test", "table": [ "${table}" ] } ] } } } ] } }
同步命令：
/bin/python /opt/datax/bin/datax.py /opt/datax/job/game_job.json -p"-Dusername=xxxx -Dpassword=xxx -Dip=xx.xx.xx.xx -Dport=3306 -Ddb=xx -Dtable=xx -DdateNum=20210423"
注意：如果密码中有特殊字符，需要使用单引号将其引起来
相关的job任务会放到job目录下， 新建一个shell脚本放到script下， run_jobs.sh,将相关数据库连接配置到一个数据表中， 添加上定时任务即可
#!/bin/bash #说明： # 执行同步游戏库玩家日志表数据 day_num=`date -d "-1 day" +%Y%m%d` #day_num=`date +%Y%m%d` main(){ mysql -hxx.xx.xx -Pxx -uxx -pxx -N -e "select game_name,app_id,ip,port,username,password,db_name,player_log_table from t xx.tt_game_db where type=2 and status=1" | while read game_name app_id ip port username password db_name player_log_table do echo "当前游戏：$game_name[$app_id] 数据库信息：$username:$password@$ip:$port/$db_name 目标表：$player_log_table" #echo "-Dusername=$username -Dpassword=$password -Dip=$ip -Dport=$port -Ddb=$db_name -Dtable=$player_log_table -DdateNum=$day_num" /bin/python /opt/datax/bin/datax.py /opt/datax/job/game_job.json -p"-Dusername=$username -Dpassword=$password -Dip=$ip -Dport=$port -Ddb= $db_name -Dtable=$player_log_table -DdateNum=$day_num" done } main
2）MongoDB同步到MySQL
{ "job": { "setting": { "speed": { "channel": 2 } }, "content": [ { "reader": { "name": "mongodbreader", "parameter": { "address": ["127.0.0.1:27017"], "userName": "dataxUser1", "userPassword": "xxxxx", "dbName": "log_1", "collectionName": "20210101", "column": [ { "name": "uid", "type": "int" }, { "name": "match_id", "type": "string" } ], "query": { // 添加筛选条件 "func_name":"play", "play_type": { "$in": [2,3] } } } }, "writer": { "name": "mysqlwriter", "parameter": { "writeMode": "insert", "username": "gameUser", "password": "xxxxx", "column": [ "player_index", "table_id" ], "session": [ "set names utf8mb4" ], "connection": [ { "jdbcUrl": "jdbc:mysql://127.0.0.1:3306/game_log", "table": [ "game_record_log" ] } ] } } } ] } }
注意点： 这里的MongoDB的用户名和密码 要开一个这个库的所属人的权限
db.createUser({user:"dataxUser1",pwd:"xxxx",roles:[{role:"dbOwner", db:"log_1"}]})
后面为了通用， 需要将这里配置的MongoDB的信息和MySQL的信息都通过变量的方式传递进来
在script目录下添加shell执行脚本，例如：run_jobs_for_mongo2mysql.sh
#!/bin/bash ## 传入开始和结束时间将MongoDB(10十个库)中每个库指定日期范围内的数据同步到MySQL begin_date=$1 end_date=$2 begin_time=$begin_date mongo_user_prefix="dataxUser" mongo_pwd=xxxx mongo_db_name_prefix="log_" mongo_table_name_prefix="game_" mysql_user="mysqlUser" mysql_pwd="xxx" mysql_host="127.0.0.1" mysql_port=3306 mysql_db_name="game_log" mysql_table_name="game_record_log" main(){ for n in $(seq 1 10) do while [ "$begin_date" != "$end_date" ] do echo $begin_date mongo_user=$mongo_user_prefix$n mongo_db_name=$mongo_db_name_prefix$n mongo_table_name=$mongo_table_name_prefix$begin_date echo "-Dmongo_user=$mongo_user -Dmongo_pwd=$mongo_pwd -Dmongo_db_name=$mongo_db_name -Dmongo_table_name=$mongo_table_name -Dmysql_user=$mysql_user -Dmysql_pwd=$mysql_pwd -Dmysql_host=$mysql_host -Dmysql_port=$mysql_port -Dmysql_db_name=$mysql_db_name -Dmysql_table_name=$mysql_table_name" /bin/python /opt/data/datax/bin/datax.py /opt/data/datax/job/game_mongo2mysql_job.json -p"-Dmongo_user=$mongo_user -Dmongo_pwd=$mongo_pwd -Dmongo_db_name=$mongo_db_name -Dmongo_table_name=$mongo_table_name -Dmysql_user=$mysql_user -Dmysql_pwd='$mysql_pwd' -Dmysql_host=$mysql_host -Dmysql_port=$mysql_port -Dmysql_db_name=$mysql_db_name -Dmysql_table_name=$mysql_table_name" let begin_date=`date -d "-1 days ago ${begin_date}" +%Y%m%d` done begin_date=$begin_time echo $end_date done } main
常见问题：
1.如果数据表中有特殊表情的时候， 可能会出现字符错误的报错信息， 这个时候需要进行设置
"session": [ "set names utf8mb4" ],
更多同步工具:
- canal
- CloudCanal(https://www.clougence.com/)
