2018年11月18日

DataX-HDFS(读写)

摘要： DataX操作HDFS 读取HDFS 1 快速介绍 HdfsReader提供了读取分布式文件系统数据存储的能力。在底层实现上，HdfsReader获取分布式文件系统上文件的数据，并转换为DataX传输协议传递给Writer。目前HdfsReader支持的文件格式有textfile（text）、orc 阅读全文

posted @ 2018-11-18 21:43 嘣嘣嚓 阅读(12144) 评论(4) 推荐(1) 编辑

DataX-MySQL(读写)

摘要： DataX操作MySQL 一、 从MySQL读取 介绍 MysqlReader插件实现了从Mysql读取数据。在底层实现上，MysqlReader通过JDBC连接远程Mysql数据库，并执行相应的sql语句将数据从mysql库中SELECT出来。不同于其他关系型数据库，MysqlReader不支持F 阅读全文

posted @ 2018-11-18 21:34 嘣嘣嚓 阅读(11356) 评论(0) 推荐(2) 编辑

DataX的安装

摘要： DataX的安装 1. 可下载tar包 https://github.com/alibaba/DataX/blob/master/userGuid.md 2. 下载源码自己编译 git clone https://github.com/alibaba/DataX.git打包mvn -U clean 阅读全文

posted @ 2018-11-18 21:25 嘣嘣嚓 阅读(1029) 评论(0) 推荐(0) 编辑

导航