Apache Kylin（二）在EMR上搭建Kylin
EMR上搭建kylin
1. 启动EMR集群
根据官网说明：
http://kylin.apache.org/docs21/install/kylin_aws_emr.html
启动EMR时，若是 hbase 数据存储在 s3 ，则需指定以下配置：
[ {
"Classification": "hbase-site",
"Properties": {
"hbase.rpc.timeout": "3600000",
"hbase.rootdir": "s3://yourbucket/EMRROOT"
}
},
{
"Classification": "hbase",
"Properties": {
"hbase.emr.storageMode": "s3"
}
}
]
如果使用 s3 作为 HBase 的存储，则需要增加 hbase.rpc.timeout 的时间。因为bulk load 到s3 是一个copy 操作，如果数据量很大的话，HBase region server 需要更多的时间完成（相较于HDFS）。
2. 安装kylin
sudo mkdir /usr/local/kylin
sudo chown hadoop /usr/local/kylin
cd /usr/local/kylin/
wget https://mirror.bit.edu.cn/apache/kylin/apache-kylin-2.6.5/apache-kylin-2.6.5-bin-hbase1x.tar.gz
tar -zxvf apache-kylin-2.6.5-bin-hbase1x.tar.gz
3. 配置 Kylin
从 /etc/hbase/conf/hbase-site.xml 中复制以下配置：
<property>
<name>hbase.zookeeper.quorum</name>
<value>ip-10-0-3-107.cn-north-1.compute.internal</value>
</property>
并填充到kylin_job_conf.xml 中。
EMR 推荐使用 HDFS 作为临时/中间文件存储，S3仅用作初始输入数据以及最终输出结果的存储。Kylin中有个配置 hdfs-working-dir，用于存放中间数据如Cube building、cuboid files，以及一些元数据文件（例如字典、以及表的snapshots，这些都不适合放在 HBase中）；所以最好是为HDFS配置HDFS。
如果使用 HDFS 作为 Kylin 的工作目录，我们直接使用Kylin的默认配置即可。在 kylin.properties 中，有以下配置：
kylin.env.hdfs-working-dir=/kylin
在我们关闭集群前，务必要备份 /kylin 目录下的数据（在HDFS上）到 S3，使用 s3-dist-cp即可。否则可能会丢失数据并且在之后无法恢复集群。
而如果要使用 S3 作为 “kylin.env.hdfs-working-dir”，则需要修改kylin.properties 中的以下配置：
kylin.env.hdfs-working-dir=s3://your_bucket/kylin
kylin.storage.hbase.cluster-fs=s3://your_bucket
kylin.source.hive.redistribute-flat-table=false
这样中间临时文件以及HFile会都写入到S3，build 的性能也会慢于 HDFS。
4. Hadoop 配置
为了在 S3 上有更好的性能以及避免一些数据一致性的问题，有些Hadoop 配置需要修改：
<property>
<name>io.file.buffer.size</name>
<value>65536</value>
</property>
<property>
<name>mapred.map.tasks.speculative.execution</name>
<value>false</value>
</property>
<property>
<name>mapred.reduce.tasks.speculative.execution</name>
<value>false</value>
</property>
<property>
<name>mapreduce.map.speculative</name>
<value>false</value>
</property>
<property>
<name>mapreduce.reduce.speculative</name>
<value>false</value>
</property>
主要是加大 io buffer，以及关闭 speculative 执行。
如果kylin 的 hdfs 工作目录不存在的话，首先创建这个工作目录：
hadoop fs -mkdir /kylin
若是工作目录在 s3 的话，则：
hadoop fs -mkdir s3://your_bucket/kylin
5. 启动 Kylin
启动方式与 Hadoop 方式基本一样：
export KYLIN_HOME=/usr/local/kylin/apache-kylin-3.0.1-bin-hbase1x
$KYLIN_HOME/bin/sample.sh
$KYLIN_HOME/bin/kylin.sh start
如果期间出现了类似 spark home 不存在的报错，则执行以下命令：
export SPARK_HOME=${SPARK_HOME:-/usr/lib/spark}
Kylin 的 web 服务端口启动在 7070，所以需要将主节点安全组的 7070 端口对访问客户端 ip 开放。
登录后的界面为：
