redis pipeline批量处理提高性能
摘要：Redis使用的是客户端 服务器（CS）模型和请求/响应协议的TCP服务器。Redis客户端与Redis服务器之间使用TCP协议进行连接，一个客户端可以通过一个socket连接发起多个请求命令。每个请求命令发出后client通常会阻塞并等待redis服务器处理，redis处理完请求命令后会将结果通过
阅读全文
posted @ 2019-05-24 17:50
05 2019 档案
用redis-dump工具对redis集群所有数据进行导出导入
摘要：安装redis dump redis dump是基于ruby开发，需要ruby环境，而且新版本的redis dump要求2.2.2以上的ruby版本，centos中yum只能安装2.0版本的ruby。需要先安装ruby的管理工具rvm安装高版本的ruby 安装rvm 可参考官网：http://rvm
阅读全文
posted @ 2019-05-24 11:56
Spark Streaming Listener 监控批次处理延迟进行告警
摘要：概述 StreamingListener 是针对spark streaming的各个阶段的事件监听机制。 StreamingListener接口 自定义StreamingListener 功能：监控批次处理时间，若超过阈值则告警，每次告警间隔2分钟 应用
阅读全文
posted @ 2019-05-21 16:24
Kylin构建Cube过程详解
摘要：1 前言 在使用Kylin的时候，最重要的一步就是创建cube的模型定义，即指定度量和维度以及一些附加信息，然后对cube进行build，当然我们也可以根据原始表中的某一个string字段（这个字段的格式必须是日期格式，表示日期的含义）设定分区字段，这样一个cube就可以进行多次build，每一次的
阅读全文
posted @ 2019-05-13 10:24
MapReduce Shuffle 和 Spark Shuffle 原理概述
摘要：Shuffle简介 Shuffle的本意是洗牌、混洗的意思，把一组有规则的数据尽量打乱成无规则的数据。而在MapReduce中，Shuffle更像是洗牌的逆过程，指的是将map端的无规则输出按指定的规则“打乱”成具有一定规则的数据，以便reduce端接收处理。其在MapReduce中所处的工作阶段是
阅读全文
posted @ 2019-05-10 15:34
Kafka生产消费API JAVA实现
摘要：Maven依赖： Kafka生产者简单接口JAVA实现： Kafka消费者简单接口JAVA实现 Kafka新消费者接口JAVA实现
阅读全文
posted @ 2019-05-09 17:22
