11 2018 档案

DataX-ElasticSearch(写)
摘要:DataX写入ElasticSearch 1 快速介绍 数据导入elasticsearch的插件 2 实现原理 使用elasticsearch的rest api接口, 批量把从reader读入的数据写入elasticsearch 3功能说明 3.1配置样例 参数说明• endpoint• 描述:El 阅读全文

posted @ 2018-11-28 15:35 嘣嘣嚓 阅读(1916) 评论(0) 推荐(0) 编辑

ZooKeeper服务-操作(API、集合更新、观察者、ACL)
摘要:操作 create:创建一个znode(必须要有父节点)delete:删除一个znode(该znode不能有任何子节点)exists:测试一个znode是否存在并且查询它的元数据getACL,setACL:获取/设置一个znode的ACLgetChildren:获取一个znode的子节点列表getD 阅读全文

posted @ 2018-11-25 18:40 嘣嘣嚓 阅读(606) 评论(0) 推荐(0) 编辑

ZooKeeper服务-数据模型
摘要:ZooKeeper是一个具有高可用性的高性能协调服务。 数据模型 ZooKeeper维护着一个树形层次结构,树中的节点被称为znode。Znode可以用于存储数据,并且有一个与之相关联的ACL(Access Control List访问控制列表)。ZooKeeper被设计用来实现协调服务(这类服务通 阅读全文

posted @ 2018-11-25 18:37 嘣嘣嚓 阅读(404) 评论(0) 推荐(0) 编辑

DataX-HDFS(读写)
摘要:DataX操作HDFS 读取HDFS 1 快速介绍 HdfsReader提供了读取分布式文件系统数据存储的能力。在底层实现上,HdfsReader获取分布式文件系统上文件的数据,并转换为DataX传输协议传递给Writer。目前HdfsReader支持的文件格式有textfile(text)、orc 阅读全文

posted @ 2018-11-18 21:43 嘣嘣嚓 阅读(12380) 评论(4) 推荐(1) 编辑

DataX-MySQL(读写)
摘要:DataX操作MySQL 一、 从MySQL读取 介绍 MysqlReader插件实现了从Mysql读取数据。在底层实现上,MysqlReader通过JDBC连接远程Mysql数据库,并执行相应的sql语句将数据从mysql库中SELECT出来。不同于其他关系型数据库,MysqlReader不支持F 阅读全文

posted @ 2018-11-18 21:34 嘣嘣嚓 阅读(11502) 评论(0) 推荐(2) 编辑

DataX的安装
摘要:DataX的安装 1. 可下载tar包 https://github.com/alibaba/DataX/blob/master/userGuid.md 2. 下载源码自己编译 git clone https://github.com/alibaba/DataX.git打包mvn -U clean 阅读全文

posted @ 2018-11-18 21:25 嘣嘣嚓 阅读(1036) 评论(0) 推荐(0) 编辑

导航

< 2025年2月 >
26 27 28 29 30 31 1
2 3 4 5 6 7 8
9 10 11 12 13 14 15
16 17 18 19 20 21 22
23 24 25 26 27 28 1
2 3 4 5 6 7 8
点击右上角即可分享
微信分享提示