DataX,Data-Web 搭建以及同步数据
DataX服务搭建
环境配置
- jdk
1. 下载jdk包(centos下载tar包)
2. 解压到指定目录
root# tar -zxvf jdk-8u291-linux-x64.tar.gz -C /usr/local/environment
3. 配置jdk环境信息
root# vi /etc/profile
添加
export JAVA_HOME=/usr/local/environment/jdk1.8.0_291
export PATH=$JAVA_HOME/bin:$PATH
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib
4. 检查是否安装成功
java -version
出现以下即成功
java version "1.8.0_291"
Java(TM) SE Runtime Environment (build 1.8.0_291-b10)
Java HotSpot(TM) 64-Bit Server VM (build 25.291-b10, mixed mode)
datax安装
下载datax安装包
1. 解压到指定目录
root# tar -zxvf datax.tar.gz -C /usr/local/ware
2. 执行测试用例
root# python datax.py ../job/job.json
DataX-Web服务搭建
下载datax-web安装包
1. 解压到指定目录
root# tar -zxvf datax-web-2.1.2 -C /usr/local/ware
2. 配置DataX-Web数据源
[root@localhost datax-web-2.1.2]# vi modules/datax-admin/conf/bootstrap.properties
修改
#Database
DB_HOST=101.37.119.129
DB_PORT=3306
DB_USERNAME=root
DB_PASSWORD=password
DB_DATABASE=dataxweb
3. 指定datax运行脚本
[root@localhost datax-web-2.1.2]# vi modules/datax-executor/bin/env.properties
修改
## PYTHON脚本执行位置
#PYTHON_PATH=/home/hadoop/install/datax/bin/datax.py
PYTHON_PATH=/usr/local/ware/datax/bin/datax.py
4. 查看数据库驱动是否一致,保证mysql驱动与同步的mysql版本一致
[root@localhost ware]# find datax/ -name "mysql-conn*"
datax/plugin/reader/mysqlreader/libs/mysql-connector-java-8.0.22.jar
datax/plugin/writer/mysqlwriter/libs/mysql-connector-java-8.0.22.jar
同步数据
-
配置数据源信息
-
新建项目管理
-
新建datax任务模板
-
新建任务
-
任务管理->执行调度任务
-
查看执行日志