CentOS7安装Kylin3
写在最前面
安装kylin3必须先安装
- Zookeeper,安装教程见《CentOS7安装Zookeeper集群》
- Hadoop,安装教程见《CentOS7安装Hadoop集群》
- HBase,安装教程见《CentOS7安装HBase集群》
- Hive,安装教程见《CentOS7安装Hive》
- Spark,安装教程见《CentOS7安装Spark集群(yarn模式)》
- 必须要配置以下环境变量
HADOOP_HOME,HIVE_HOME,ZOOKEEPRE_HOME,HBASE_HOME,SPARK_HOME
软件要求
- Hadoop: 2.7+, 3.1+ (since v2.5),推荐3.1.3,测试通过
- Hive: 0.13 - 1.2.1+,推荐3.1.2,测试通过
- HBase: 1.1+, 2.0 (since v2.5),推荐2.0.5,测试通过
- Spark (可选) 2.3.0+,推荐3.0.0,测试通过
- Kafka (可选) 1.0.0+ (since v2.5),推荐2.11,测试通过,基本不会用到,kylin4已经移除了这种导入数据的方式
- JDK: 1.8+ (since v2.5)
- OS: Linux only, CentOS 6.5+ or Ubuntu 16.0.4+
#HADOOP_HOME
export HADOOP_HOME=/opt/module/hadoop-3.1.3
export PATH=$PATH:$HADOOP_HOME/bin
export PAHT=$PATH:$HADOOP_HOME/sbin
#HIVE_HOME
export HIVE_HOME=/opt/module/hive
export PATH=$PATH:$HIVE_HOME/bin
#HBASE_HOME
export HBASE_HOME=/opt/module/hbase
export PATH=$PATH:$HBASE_HOME/bin
#ZOOKEEPRE_HOME
export ZOOKEEPER_HOME=/opt/module/zookeeper-3.5.7
export PATH=$PATH:$ZOOKEEPER_HOME/bin
#SPARK_HOME
export SPARK_HOME=/opt/module/spark-yarn
export PATH=$PATH:$SPARK_HOME/bin
软件下载
自行下载所需要的版本,提供apache-kylin-3.0.2-bin.tar.gz
百度云下载地址
链接中的
zeppelin-0.8.0-bin-all.tgz
为官方提供的连接工具
解压缩
tar xzvf apache-kylin-3.0.2-bin.tar.gz -C /opt/module/
安装目录个人喜好,解压缩名字太长可以重命名下
解决Kylin兼容性问题
修改/opt/module/kylin/bin/find-spark-dependency.sh
,排除冲突的 jar 包,需要增加的内容:! -name '*jackson*' ! -name '*metastore*'
启动kylin
(1)启动 Kylin 之前,需先启动 Hadoop(hdfs,yarn,jobhistoryserver)、Zookeeper、Hbase
(2)启动/关闭Kylin
bin/kylin.sh start
bin/kylin.sh stop
(3)查看进程
jspall
(4)查看Web页面
http://hadoop102:7070/kylin/login
默认帐号:ADMIN
默认密码:KYLIN
踩过的一些坑
-
UI端口7070冲突
修改kylin/tomcat/conf/server.xml
即可 -
之前装过kylin导致hbase里面有数据的,大概显示下面的异常
Failed to find metadata store by url: kylin_metadata@hbase
(1) 进入
zookeeper/bin
运行zkCli.sh -timeout 5000 -server 127.0.0.1:2181
(2)ls /hbase/table
命令查看是否有kylin相关表
(3) 使用deleteall /hbase/table/kylin
命令删除表
(4) 重启Hbase -
待补充
【推荐】编程新体验,更懂你的AI,立即体验豆包MarsCode编程助手
【推荐】博客园携手 AI 驱动开发工具商 Chat2DB 推出联合终身会员
【推荐】抖音旗下AI助手豆包,你的智能百科全书,全免费不限次数
【推荐】轻量又高性能的 SSH 工具 IShell:AI 加持,快人一步