Loading

摘要: DataX MysqlWriter 1 快速介绍 MysqlWriter 插件实现了写入数据到 Mysql 主库的目的表的功能。在底层实现上, MysqlWriter 通过 JDBC 连接远程 Mysql 数据库,并执行相应的 insert into ... 或者 ( replace into .. 阅读全文
posted @ 2024-06-03 15:50 kingron 阅读(9) 评论(0) 推荐(0) 编辑
摘要: hdfsreader 来源:github-datax-hdfsreader 1 快速介绍 HdfsReader提供了读取分布式文件系统数据存储的能力。在底层实现上,HdfsReader获取分布式文件系统上文件的数据,并转换为DataX传输协议传递给Writer。 目前HdfsReader支持的文件格 阅读全文
posted @ 2024-06-03 13:55 kingron 阅读(16) 评论(0) 推荐(0) 编辑
摘要: DataX HiveReader 来源:github-datax-hivereader 1 快速介绍 Hivereader插件:从Hive表读取数据 2 实现原理 实现方式是:根据配置的QuerySql,通过将查询结果保存到一张新的临时hive表中这种方式;然后获取临时表的hdfs文件地址,然后读取 阅读全文
posted @ 2024-06-03 13:54 kingron 阅读(10) 评论(0) 推荐(0) 编辑