apache kylin的单节点及多节点安装
Kylin的使用安装文档
Kylin简介
Kylin是什么
Apache Kylin是一个开源的分布式分析引擎,最初由eBay开发贡献至开源社区。它提供Hadoop之上的SQL查询接口及多维分析(OLAP)能力以支持大规模数据,能够处理TB乃至PB级别的分析任务,能够在亚秒级查询巨大的Hive表,并支持高并发。简单来说,Kylin的核心思想是预计算,即对多维分析可能用到的度量进行预计算,将计算好的结果保存成Cube,供查询时直接访问。把高复杂度的聚合运算、多表连接等操作转换成对预计算结果的查询,这决定了Kylin能够拥有很好的快速查询和高并发能力。
可扩展超快OLAP引擎:
Kylin是为减少在Hadoop上百亿规模数据查询延迟而设计
- Hadoop ANSI SQL 接口:
Kylin为Hadoop提供标准SQL支持大部分查询功能
- 交互式查询能力:
通过Kylin,用户可以与Hadoop数据进行亚秒级交互,在同样的数据集上提供比Hive更好的性能
- 多维立方体(MOLAP Cube):
用户能够在Kylin里为百亿以上数据集定义数据模型并构建立方体
- 与BI工具无缝整合:
Kylin提供与BI工具,如Tableau,的整合能力,即将提供对其他工具的整合
- 其他特性:
- Job管理与监控
- 压缩与编码
- 增量更新
- 利用HBase Coprocessor
- 基于HyperLogLog的Dinstinc Count近似算法
- 友好的web界面以管理,监控和使用立方体
- 项目及立方体级别的访问控制安全
- 支持LDAP (网络)
kylin是一个用空间换取时间的分布式分析引擎,kylin核心是cube,以不同的维度,将某些查询预计算出来,存入hbase中,针对不同的业务场景会建立不同的cube来使用,满足绝大多数的查询需求。(个人)
Kylin的使用场景
Kylin适用于大量数据周期性查询,
Kylin的优缺点
缺点:多维索引要对多维度的各种组合作预计算,离线建索引需要较大计算量和时间,最终索引也会占用较多磁盘空间。
优点 :Kylin的Cube预处理会大幅减小在线数据规模,对于超大规模数据更有优势。
Kylin 架构
Kylin的安装
单节点安装
Kylin的安装比较简单但是kylin是构建在大数据集群之上的所以要满足以下条件
• Hadoop: 2.4+
• Hive: 0.13+
• HBase: 0.98+, 1.x
• JDK: 1.7+
然后下载二进制包http://kylin.apache.org/download/
将二进制包上传至某个节点
切换至目录,解压文件
Tar -xvzf 文件
配置文件路径
Vi /etc/profile
Export Kylin_home=/path/
例如:
export KYLIN_HOME=/home/apache-kylin-2.2.0-bin
启动kylin
Cd到指定的解压目录下:执行 ./bin/kylin.sh start
停止服务:
执行 ./bin/kylin.sh stop
注意: 执行时必须保证本用户下有权限建立habse表,
多节点安装
安装步骤与多节点安装相同,需修改配置文件
修改conf下的kylin.properties
因为只能有一个job节点,所以将
kylin.server.mode=all只能有一个节点是all,其他节点为query
kylin.server.cluster-servers=localhost:7070 在这一行添加地址例如
kylin.server.cluster-servers=192.168.3.251:7070,192.168.3.252:7070
安装负载均衡器ngnix
配置负载均衡:
Nginx ("engine x") 是一个高性能的 HTTP 和 反向代理 服务器,也是一个 IMAP/POP3/SMTP 代理服务器。 Nginx 是由 Igor Sysoev 为俄罗斯访问量第二的 Rambler.ru 站点开发的,第一个公开版本0.1.0发布于2004年10月4日。其将源代码以类BSD许可证的形式发布,因它的稳定性、丰富的功能集、示例配置文件和低系统资源的消耗而闻名。2011年6月1日,nginx 1.0.4发布。
1 依赖下载
wget https://ftp.pcre.org/pub/pcre/pcre-8.13.tar.gz
yum -y install make zlib zlib-devel gcc-c++ libtool openssl openssl-devel
openssl可能需要单独安装
安装pcre
1 tar -zxvf soft/pcre-8.38.tar.gz
2 cd pcre-8.38/
3 ./configure
4 make
5 make install
检查是否安装成功:
切换至安装目录
Pcre version
2 Nginx下载
wget http://nginx.org/download/nginx-1.5.9.tar.gz
1 tar –xzvf 解压包
2 cd 解压包
3 ./configure
4. make
5 make install
检查是否安装成功
cd /var/local/nginx
表示安装成功
3 配置负载均衡:
启动
启动停止重启与测试
1)启动
#方法1
# /usr/local/nginx/sbin/nginx -c /usr/local/nginx/conf/nginx.conf
#方法2
# cd /usr/local/nginx/sbin
# ./nginx
2) 停止
#查询nginx主进程号
ps -ef | grep nginx
#停止进程
kill -QUIT 主进程号
#快速停止
kill -TERM 主进程号
#强制停止
pkill -9 nginx
3) 重启(首次启动需:/usr/local/nginx/sbin/nginx -c /usr/local/nginx/conf/nginx.conf)
/usr/local/nginx/sbin/nginx -s reload
安装与配置详情请参考:http://www.linuxidc.com/Linux/2016-08/134110.htm
访问 80端口并加上kylin路径
Kylin的使用
登录密码账号为ADMIN/KYLIN
Kylin的使用请参考官网有详细说明。Cube的建立与业务场景紧密结合。需结合业务讲解