linux安装datax +datax-web踩坑总结

一丶安装datax

环境：JDK8+     py2.7+

下载地址：http://datax-opensource.oss-cn-hangzhou.aliyuncs.com/datax.tar.gz

解压：tar -zxvf datax.tar.gz

自检：python 路径/datax.py 路径/job/job.json

这时候我报了个错，具体是啥错忘了，删除reader和writer中的 ._ 开头的文件，重新自检！

 

二丶安装datax-web

环境：mysql 5.7

datax-web下载：

　　链接：https://pan.baidu.com/s/1XrnHQpReCRLKz1HJflsEzQ
　　提取码：cwvv

解压：tar -zxvf datax-web.tar.gz

执行安装命令：./bin/install.sh --force

初始化数据库：找到/bin/db/datax-web.sql文件，复制文件的脚本内容，在mysql的data_web_db库中执行，主要是建一下基础表和初始化用户

修改数据库连接信息：在./modules/datax-admin/conf/bootstrap.properties设置data-web连接数据库的信息，连接mysql

#Database
DB_HOST=192.168.xx.xx
DB_PORT=3306
DB_USERNAME=datax-web
DB_PASSWORD=xxx
DB_DATABASE=datax_web_db

指定Python路径：在项目目录下/modules/datax-execute/bin/env.properties 指定PYTHON_PATH的路径

　　　　vi ./modules/{module_name}/bin/env.properties

　　　　 ### 执行datax的python脚本地址

　　　　PYTHON_PATH=/mysoft/datax/bin/datax.py

启动服务： ./start-all.sh

停止服务：./stop-all.sh

访问：http://192.168.xx.xx:9527/index.html   默认用户：admin，默认密码：1231456

 

有的功能需要自己编译插件 比如es，clickhouse

先拉取代码：https://github.com/alibaba/DataX.git

删除不必要的模块

下载依赖

clear   install

 

然后比如缺少clickhouse插件：

 

 将编译后的这个模块放入 datax  的plugs 的writer中