摘要:
编写读的插件时,需要将数据的每个列都转成Datax内部的Column对象 可以通过idea的全局搜索🔍 record.addColumn方法,看看各个读插件是怎么转成Datax内部Column的 每条正常数据都是DefaultRecord对象,实现了Record接口 通过Datax读取的每条数据r 阅读全文
摘要:
启动命令模板 可以参考datax.py文件: ENGINE_COMMAND = "java -server ${jvm} %s -classpath %s ${params} com.alibaba.datax.core.Engine -mode ${mode} -jobid ${jobid} -j 阅读全文
摘要:
接着上一节…… 做好了切分工作,下一步当然就是对对应的各个任务进行任务托管和监控:schedule,post,postHandle,invokeHooks。 schedule首先完成的工作是把上一步reader和writer split的结果整合到具体的taskGroupContainer中。 in 阅读全文
摘要:
开始(以mysql为例) 从 https://github.com/alibaba/DataX 下载源码,通过idea阅读。 Datx根目录下core包包含了整个执行框架, 其中com.alibaba.datax.core.Engine是整个Java任务的入口, core/src/main/bin/ 阅读全文