导航

datax-web踩坑记录

Posted on 2021-01-18 14:23  爱抓冒的克里斯_韦伯  阅读(648)  评论(0编辑  收藏  举报

实习期间接触了两种ETL工具:kettle、datax
1、datax-web的安装 (跟着文档一步步来就好了)
https://github.com/WeiYe-Jing/datax-web/blob/master/doc/datax-web/datax-web-deploy.md
2、data-web可视化界面的使用
重点记录一下时间增量的设置
i、构建reader时
updateTime >= ${lastTime} and updateTime <${currentTime}
ii、构建writer时

iii、配置json
writer
"writeMode": "update"
iv、编辑任务
设置辅助参数为: 时间自增
时间增量格式 : 时间戳
-DlastTime='%s' -DcurrentTime='%s'
v、(后补)
路由策略:轮询
阻塞处理:单机串行