随笔分类 -  Phoenix

记录使用Phoenix过程中的心得和技术方案
摘要:目前的数仓大概分为离线数仓和实时数仓。离线数仓一般是T+1的数据ETL方案;实时数仓一般是分钟级别甚至更短的时间内的ETL方案。实时数仓一般是将上游业务库的数据通过binlog等形式,实时抽取到Kafka,进行实时ETL。但目前主流的实时数仓也会细分为两类,一类是标准的实时数仓,所有的ETL过程都通 阅读全文
posted @ 2019-12-26 09:33 gabry.wu 阅读(3750) 评论(0) 推荐(0) 编辑
摘要:本文介绍Phoenix在2345公司的实践,主要是实时查询平台的背景、难点、Phoenix解决的问题、Phoenix-Sql的优化以及Phoenix与实时数仓的融合思路 阅读全文
posted @ 2019-06-06 15:03 gabry.wu 阅读(646) 评论(0) 推荐(0) 编辑
摘要:最近在做实时数仓,需要兼顾离线和实时两种查询方式,大致的方案是数据通过binlog抽取,经Phoenix插入,hive映射hbase表;Phoenix创建索引,实时查询Phoenix;离线查询hive。(这个方案后面再写博客单独介绍) 但这都不是重点,重点是为了避免或者技术上100%解决binlog 阅读全文
posted @ 2019-02-22 11:05 gabry.wu 阅读(548) 评论(0) 推荐(0) 编辑