spark log4j 日志配置
摘要：现在我们介绍spark (streaming) job独立配置的log4j的方法，通过查看官方文档，要为应用主程序（即driver端）或执行程序使（即executor端）自定义log4j配置，需要两步就完成了，下面具体说明。 第一步：上传自定义 log4j driver.properties和log
阅读全文
posted @ 2019-06-20 10:55
06 2019 档案
一种简单实现Redis集群Pipeline功能的方法及性能测试
摘要：上一篇文章《 "redis pipeline批量处理提高性能" 》中我们讲到redis pipeline模式在批量数据处理上带来了很大的性能提升，我们先来回顾一下pipeline的原理，redis client与server之间采用的是请求应答的模式，如下所示： 在这种情况下，如果要完成10个命令，
阅读全文
posted @ 2019-06-11 10:27
