摘要：
1 概述 开发调试spark程序时，因为要访问开启kerberos认证的hive/hbase/hdfs等组件，每次调试都需要打jar包，上传到服务器执行特别影响工作效率，所以调研了下如何在windows环境用idea直接跑spark任务的方法，本文旨在记录配置本地调试环境中遇到的问题及解决方案。 2 阅读全文
2019年7月1日
2019年6月20日
摘要：
现在我们介绍spark (streaming) job独立配置的log4j的方法，通过查看官方文档，要为应用主程序（即driver端）或执行程序使（即executor端）自定义log4j配置，需要两步就完成了，下面具体说明。 第一步：上传自定义 log4j driver.properties和log 阅读全文
2019年6月11日
摘要：
上一篇文章《 "redis pipeline批量处理提高性能" 》中我们讲到redis pipeline模式在批量数据处理上带来了很大的性能提升，我们先来回顾一下pipeline的原理，redis client与server之间采用的是请求应答的模式，如下所示： 在这种情况下，如果要完成10个命令， 阅读全文
2019年5月24日
摘要：
Redis使用的是客户端 服务器（CS）模型和请求/响应协议的TCP服务器。Redis客户端与Redis服务器之间使用TCP协议进行连接，一个客户端可以通过一个socket连接发起多个请求命令。每个请求命令发出后client通常会阻塞并等待redis服务器处理，redis处理完请求命令后会将结果通过 阅读全文
摘要：
安装redis dump redis dump是基于ruby开发，需要ruby环境，而且新版本的redis dump要求2.2.2以上的ruby版本，centos中yum只能安装2.0版本的ruby。需要先安装ruby的管理工具rvm安装高版本的ruby 安装rvm 可参考官网：http://rvm 阅读全文
2019年5月21日
摘要：
概述 StreamingListener 是针对spark streaming的各个阶段的事件监听机制。 StreamingListener接口 自定义StreamingListener 功能：监控批次处理时间，若超过阈值则告警，每次告警间隔2分钟 应用 阅读全文
2019年5月13日
摘要：
1 前言 在使用Kylin的时候，最重要的一步就是创建cube的模型定义，即指定度量和维度以及一些附加信息，然后对cube进行build，当然我们也可以根据原始表中的某一个string字段（这个字段的格式必须是日期格式，表示日期的含义）设定分区字段，这样一个cube就可以进行多次build，每一次的 阅读全文
2019年5月10日
摘要：
Shuffle简介 Shuffle的本意是洗牌、混洗的意思，把一组有规则的数据尽量打乱成无规则的数据。而在MapReduce中，Shuffle更像是洗牌的逆过程，指的是将map端的无规则输出按指定的规则“打乱”成具有一定规则的数据，以便reduce端接收处理。其在MapReduce中所处的工作阶段是 阅读全文
2019年5月9日
摘要：
Maven依赖： Kafka生产者简单接口JAVA实现： Kafka消费者简单接口JAVA实现 Kafka新消费者接口JAVA实现 阅读全文
2019年4月18日
摘要：
1 引入Spark引擎 Kylin v2开始引入了Spark引擎，可以在构建Cube步骤中替换MapReduce。 关于配置spark引擎的文档，下面给出官方链接以便查阅：http://kylin.apache.org/docs20/tutorial/cube_spark.html 以下是配置步骤： 阅读全文
