Kylin引入Spark引擎
摘要：1 引入Spark引擎 Kylin v2开始引入了Spark引擎，可以在构建Cube步骤中替换MapReduce。 关于配置spark引擎的文档，下面给出官方链接以便查阅：http://kylin.apache.org/docs20/tutorial/cube_spark.html 以下是配置步骤：
阅读全文
posted @ 2019-04-18 13:48
04 2019 档案
基于CDH5.12安装Kylin及官方用例测试
摘要：1 kylin 简介 Apache Kylin是2013年由eBay 在上海的一个中国工程师团队发起的、基于Hadoop大数据平台的开源 OLAP引擎，它采用多维立方体预计算技术，利用空间换时间的方法，把很多分钟级别乃至小时级别的大数据查询速度一下子提升到了亚秒级别，极大地提高了数据分析的效率，填补
阅读全文
posted @ 2019-04-17 18:59
用Sqoop进行Hive和MySQL之间的数据互导
摘要：##Hive导数据入MySQL ###创建mysql表 use anticheat; create table anticheat_blacklist( userid varchar(30) primary key , dt int, update_time timestamp, delete_fl
阅读全文
posted @ 2019-04-15 20:10
Spark读HBase写MySQL
摘要：1 Spark读HBase Spark读HBase黑名单数据，过滤出当日新增userid，并与mysql黑名单表内userid去重后，写入mysql。 2 Spark读MySQL表广播出去 3 构建黑名单数据对象rdd 4 Spark写MySQL 5 注意问题 数据存入Mysql注意事项 尽量先设置
阅读全文
posted @ 2019-04-15 15:18
Kafka如何彻底删除topic及数据
摘要：前言：删除kafka topic及其数据，严格来说并不是很难的操作。但是，往往给kafka 使用者带来诸多问题。项目组之前接触过多个开发者，发现都会偶然出现无法彻底删除kafka的情况。本文总结多个删除kafka topic的应用场景，总结一套删除kafka topic的标准操作方法。 step1：
阅读全文
posted @ 2019-04-15 13:25
LDAP-HA安装与配置（Keepalived方式实现）
摘要：LDAP部署 安装LDAP（主节点） 安装LDAP Server 查看安装的版本： LDAP 服务端配置 更新配置库： 在2.4以前的版本中，OpenLDAP 使用 slapd.conf 配置文件来进行服务器的配置，而2.4开始则使用 slapd.d 目录保存细分后的各种配置，这一点需要注意，其数据
阅读全文
posted @ 2019-04-11 15:20
配置两个Hadoop集群Kerberos认证跨域互信
摘要：两个Hadoop集群开启Kerberos验证后，集群间不能够相互访问，需要实现Kerberos之间的互信，使用Hadoop集群A的客户端访问Hadoop集群B的服务（实质上是使用Kerberos Realm A上的Ticket实现访问Realm B的服务）。 先决条件： 1）两个集群(IDC.COM
阅读全文
posted @ 2019-04-11 13:33
MYSQL HA 部署手册
摘要：1 MySQL启用主主双写复制 1.1 卸载系统默认的数据库mariadb 安装mysql出现安装包不兼容问题，首先卸载掉系统自带mariadb 1.2 卸载旧版安装包 检查MySQL及相关RPM包，是否安装，如果有安装，则移除（rpm –e 名称） rpm qa | grep i mysql yu
阅读全文
posted @ 2019-04-11 12:05
ELK简单安装测试
摘要：1 介绍组件 Filebeat是一个日志文件托运工具，在你的服务器上安装客户端后，filebeat会监控日志目录或者指定的日志文件，追踪读取这些文件（追踪文件的变化，不停的读）。 Kafka是一种高吞吐量的分布式发布订阅消息系统，它可以处理消费者规模的网站中的所有动作流数据。 ElasticSear
阅读全文
posted @ 2019-04-09 20:06
