CentOS7安装DataX和datax-web

目录

• 本文目的
• 1.安装jdk8并配置环境变量
• 2.安装python
• 3.安装datax
• 4.下载安装datax-web
  • 4.1 安装mysql
  • 4.2 安装datax-web
  • 4.3 修改执行脚本位置
  • 4.4 启动datax-web
  • 4.5 开放外网端口然后访问后台

本文目的

本文旨在记录安装datax和datax-web的过程和解决其中遇到的一些问题，大部分安装过程都可以在官方文档找到DataX,datax-web。
唯一遇到的问题是：datax自检脚本报错，删除对应目录下的隐藏文件即可，参考:自检脚本报错

1.安装jdk8并配置环境变量

vi /etc/profile

JAVA_HOME=/home/jdk1.8.0_251  
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar  
export PATH=$JAVA_HOME/bin:$PATH  

source /etc/profile
java -version

2.安装python

linux一般都已经自带python环境了，没有的话自行安装下
python -V

3.安装datax

mkdir -p /home/datax
cd /home/datax
下载datax安装包
wget http://datax-opensource.oss-cn-hangzhou.aliyuncs.com/datax.tar.gz
解压安装包
tar -zxvf datax.tar.gz
测试自检脚本
python /home/datax/datax/bin/datax.py /home/datax/datax/job/job.json
此时会报错：找不到某个文件，但实际去找这些文件是有的，此时需要删除plugin下的隐藏文件(ls -la可以看到)
rm -rf /home/datax/datax/plugin/*/._*

再次执行
python /home/datax/datax/bin/datax.py /home/datax/datax/job/job.json
稍等即可看到执行结果

2022-05-11 15:19:43.103 [job-0] INFO  JobContainer - 
任务启动时刻                    : 2022-05-11 15:19:33
任务结束时刻                    : 2022-05-11 15:19:43
任务总计耗时                    :                 10s
任务平均流量                    :          253.91KB/s
记录写入速度                    :          10000rec/s
读出记录总数                    :              100000
读写失败总数                    :                   0

4.下载安装datax-web

参考地址：
https://github.com/WeiYe-Jing/datax-web/blob/master/doc/datax-web/datax-web-deploy.md

4.1 安装mysql

参考地址:
https://www.cnblogs.com/simple-young/p/15432579.html

4.2 安装datax-web

cd /home/datax/datax-web-2.1.2/bin
./install.sh
期间会提示安装各个模块和设置mysql密码，按提示进行即可

4.3 修改执行脚本位置

作者的原文：

vi ./modules/{module_name}/bin/env.properties

执行datax的python脚本地址
PYTHON_PATH=

### 保持和datax-admin服务的端口一致；默认是9527，如果没改datax-admin的端口，可以忽略
DATAX_ADMIN_PORT=

对应修改
cd /home/datax/datax-web-2.1.2/modules/datax-executor/bin/
vi env.properties

PYTHON_PATH=/home/datax/datax/bin/datax.py
DATAX_ADMIN_PORT=9527

4.4 启动datax-web

cd /home/datax/datax-web-2.1.2
./bin/start-all.sh

4.5 开放外网端口然后访问后台

后台地址
http://ip:9527/index.html
用户名/密码：
admin/123456