CentOS7安装Kylin3

写在最前面

安装kylin3必须先安装

  1. Zookeeper,安装教程见《CentOS7安装Zookeeper集群》
  2. Hadoop,安装教程见《CentOS7安装Hadoop集群》
  3. HBase,安装教程见《CentOS7安装HBase集群》
  4. Hive,安装教程见《CentOS7安装Hive》
  5. Spark,安装教程见《CentOS7安装Spark集群(yarn模式)》
  6. 必须要配置以下环境变量HADOOP_HOME,HIVE_HOME,ZOOKEEPRE_HOME,HBASE_HOME,SPARK_HOME

软件要求

  • Hadoop: 2.7+, 3.1+ (since v2.5),推荐3.1.3,测试通过
  • Hive: 0.13 - 1.2.1+,推荐3.1.2,测试通过
  • HBase: 1.1+, 2.0 (since v2.5),推荐2.0.5,测试通过
  • Spark (可选) 2.3.0+,推荐3.0.0,测试通过
  • Kafka (可选) 1.0.0+ (since v2.5),推荐2.11,测试通过,基本不会用到,kylin4已经移除了这种导入数据的方式
  • JDK: 1.8+ (since v2.5)
  • OS: Linux only, CentOS 6.5+ or Ubuntu 16.0.4+
#HADOOP_HOME
export HADOOP_HOME=/opt/module/hadoop-3.1.3
export PATH=$PATH:$HADOOP_HOME/bin
export PAHT=$PATH:$HADOOP_HOME/sbin

#HIVE_HOME
export HIVE_HOME=/opt/module/hive
export PATH=$PATH:$HIVE_HOME/bin

#HBASE_HOME
export HBASE_HOME=/opt/module/hbase
export PATH=$PATH:$HBASE_HOME/bin

#ZOOKEEPRE_HOME
export ZOOKEEPER_HOME=/opt/module/zookeeper-3.5.7
export PATH=$PATH:$ZOOKEEPER_HOME/bin

#SPARK_HOME
export SPARK_HOME=/opt/module/spark-yarn
export PATH=$PATH:$SPARK_HOME/bin

软件下载

自行下载所需要的版本,提供apache-kylin-3.0.2-bin.tar.gz百度云下载地址

链接中的zeppelin-0.8.0-bin-all.tgz为官方提供的连接工具

解压缩

tar xzvf apache-kylin-3.0.2-bin.tar.gz -C /opt/module/

安装目录个人喜好,解压缩名字太长可以重命名下

解决Kylin兼容性问题

修改/opt/module/kylin/bin/find-spark-dependency.sh,排除冲突的 jar 包,需要增加的内容:! -name '*jackson*' ! -name '*metastore*'
image

启动kylin

(1)启动 Kylin 之前,需先启动 Hadoop(hdfs,yarn,jobhistoryserver)、Zookeeper、Hbase
(2)启动/关闭Kylin

bin/kylin.sh start
bin/kylin.sh stop

image
(3)查看进程

jspall

脚本见《“尚硅谷”的jpsall脚本》

image
(4)查看Web页面
http://hadoop102:7070/kylin/login
默认帐号:ADMIN
默认密码:KYLIN

踩过的一些坑

  1. UI端口7070冲突
    修改kylin/tomcat/conf/server.xml即可

  2. 之前装过kylin导致hbase里面有数据的,大概显示下面的异常

    Failed to find metadata store by url: kylin_metadata@hbase
    

    (1) 进入zookeeper/bin运行zkCli.sh -timeout 5000 -server 127.0.0.1:2181
    (2) ls /hbase/table命令查看是否有kylin相关表
    (3) 使用deleteall /hbase/table/kylin命令删除表
    (4) 重启Hbase

  3. 待补充

posted @   CodingBugs  阅读(186)  评论(0编辑  收藏  举报
点击右上角即可分享
微信分享提示