随笔分类 -  DataX

DataX-ElasticSearch(写)
摘要:DataX写入ElasticSearch 1 快速介绍 数据导入elasticsearch的插件 2 实现原理 使用elasticsearch的rest api接口, 批量把从reader读入的数据写入elasticsearch 3功能说明 3.1配置样例 参数说明• endpoint• 描述:El 阅读全文

posted @ 2018-11-28 15:35 嘣嘣嚓 阅读(1916) 评论(0) 推荐(0) 编辑

DataX-HDFS(读写)
摘要:DataX操作HDFS 读取HDFS 1 快速介绍 HdfsReader提供了读取分布式文件系统数据存储的能力。在底层实现上,HdfsReader获取分布式文件系统上文件的数据,并转换为DataX传输协议传递给Writer。目前HdfsReader支持的文件格式有textfile(text)、orc 阅读全文

posted @ 2018-11-18 21:43 嘣嘣嚓 阅读(12380) 评论(4) 推荐(1) 编辑

DataX-MySQL(读写)
摘要:DataX操作MySQL 一、 从MySQL读取 介绍 MysqlReader插件实现了从Mysql读取数据。在底层实现上,MysqlReader通过JDBC连接远程Mysql数据库,并执行相应的sql语句将数据从mysql库中SELECT出来。不同于其他关系型数据库,MysqlReader不支持F 阅读全文

posted @ 2018-11-18 21:34 嘣嘣嚓 阅读(11503) 评论(0) 推荐(2) 编辑

DataX的安装
摘要:DataX的安装 1. 可下载tar包 https://github.com/alibaba/DataX/blob/master/userGuid.md 2. 下载源码自己编译 git clone https://github.com/alibaba/DataX.git打包mvn -U clean 阅读全文

posted @ 2018-11-18 21:25 嘣嘣嚓 阅读(1036) 评论(0) 推荐(0) 编辑

导航

< 2025年2月 >
26 27 28 29 30 31 1
2 3 4 5 6 7 8
9 10 11 12 13 14 15
16 17 18 19 20 21 22
23 24 25 26 27 28 1
2 3 4 5 6 7 8
点击右上角即可分享
微信分享提示