04 2018 档案

Apache Phoenix Flume集成 -- JsonEventSerializer改进
摘要：Apache Phoenix官方提供了Flume集成插件，基于该插件我们可以将消息队列的数据插入到Phoenix，例如Kafka中的数据。官方提供了三种消息格式的Serialier: Regex, Json, CSV。我采用了Json，但是发现其中有很多问题不满足我们的需要，本文记录了改进的过程。 阅读全文
posted @ 2018-04-18 16:24 wlu 阅读(1109) 评论(2) 推荐(1) 编辑
Mapreduce atop Apache Phoenix (ScanPlan 初探)
摘要：利用Mapreduce/hive查询Phoenix数据时如何划分partition？ 的源码一看便知： 根据select查询语句创建查询计划，QueryPlan，实际是子类ScanPlan。 函数有一个特殊操作： 如果HBase表有多个Region，则会将一个 划分为多个，每个Region对应一个S 阅读全文
posted @ 2018-04-10 21:39 wlu 阅读(388) 评论(0) 推荐(0) 编辑
Spark中的Phoenix Dynamic Columns
摘要：代码及使用示例：https://github.com/wlu mstr/spark phoenix dynamic phoenix dynamic columns HBase的数据模型是动态的，很多系统得益于这一特性。在使用了Phoenix后自然也希望继续使用动态schema特性，有幸，Phoeni 阅读全文
posted @ 2018-04-02 11:37 wlu 阅读(1067) 评论(0) 推荐(0) 编辑

点击右上角即可分享
微信分享提示