摘要:需求描述考虑直接在Hive或者Impala等Big Data方案,能够支持MDX查询,现调研一下Mondrian对hive的支持情况。环境准备hive环境,采用hive-0.10-cdh4.2.1 客户端程序使用的类库:mondrian-3.6.0、olap4j-1.2.0-SNAPSHOT数据准备...
阅读全文
随笔分类 - 大数据处理
专注大数据处理相关领域,主要HBase、数据存储
摘要:前面两篇介绍了一下tajo,下面就说一下安装和使用吧。一、分布式安装前提:hadoop2中的hdfs和yarn已经安装并运行正常。1、下载source并build源码$git clone https://git-wip-us.apache.org/repos/asf/incubator-tajo.git tajo$ cd tajo$ mvn clean package -DskipTests -Pdist -Dtar$ ls tajo-dist/target/tajo-x.y.z-SNAPSHOT.tar.gz2、将tag.gz解压到需要安装的地方1 $ tar xzvf tajo-0.2.0
阅读全文
摘要:上一篇Tajo--一个分布式数据仓库系统(概述)废话了一通,下面介绍一下Tajo的体系结构、以及官方的实验成果吧一、体系架构 Tajo采用了Master-Worker架构(下图虚线框目前还在计划中),Master-Worker-Client之间的RPC通信是使用Protocol buffer + Netty来实现的,具体如下:(1) TajoMaster:为客户端提供查询服务和管理各个QueryMaster(也可以说是Tajo Worker),解析Query并协调QueryMaster,目前还内置了catalog服务器。大致可以分为四个组件:Cluster Manager、Catalog、G.
阅读全文
摘要:前言:一直对OS X比较仰慕,刚工作送给自己的第一件大礼就是mac pro,嘿嘿。最近在看一个叫tajo得分布式数据仓库,需要依赖protoc 2.4.1,2.5.0都不work,不知道为啥,我在装2.4.1的时候make不过,报make[2]: *** [message.lo] Error 1这种错误,上网查了需要修改一下message.h代码,贴一下解决办法:解决办法:修改src/google/protobuf/message.h#ifdef __DECCXX// HP C++'s iosfwd doesn't work.#include #else#include //#
阅读全文