随笔分类 -  DataX

datax 批量同步和传输表
摘要：有时候，进行全量同步表时，涉及的表会比较多，可以使用参数定义表明的方式 进行调用datax的配置文件，这样就不需要每次新增一张表就写一个配置文件 { "job": { "content": [ { "reader": { "name": "oraclereader", "parameter": { 阅读全文
posted @ 2021-07-05 17:17 欣欣姐 阅读(4042) 评论(1) 推荐(2) 编辑
datax oracle数据同步到oracle （异库同步传输）
摘要：由于要实现两个不同数据源的同步，datax可以高效的传输，故在做海量数据同步和迁移时，可以考虑此方法，其中json文件如下。 { "job": { "setting": { "speed": { "channel": 3, "byte": 1048576 }, "errorLimit": { "re 阅读全文
posted @ 2021-07-05 16:26 欣欣姐 阅读(2081) 评论(0) 推荐(1) 编辑
Datax 从Oracle导入数据到Hive
摘要：需要将oracle的数据导入到Hive上去，其实导入到hdfs和导入到hive的配置差不多。 查看集群上的文件 附上截图配置文件代码 { "job": { "setting": { "speed": { "channel": 3, "byte": 1048576 }, "errorLimit": { 阅读全文
posted @ 2021-07-05 16:15 欣欣姐 阅读(1966) 评论(1) 推荐(0) 编辑

点击右上角即可分享
微信分享提示