摘要：
当你感到悲哀痛苦时，最好是去学些什么东西。学习会使你永远立于不败之地。 使用场景 在rdd的每一个分区上，执行迭代操作，在每一次的迭代操作中，需要先访问redis缓存，并获取key对应的value，若value存在则对value进行反序列化操作，否则从db里查询并序列化存放到redis缓存中。 伪代 阅读全文
摘要：
信念，你拿它没办法，但是没有它你什么也做不成。—— 撒姆尔巴特勒 前言 对于spark streaming而言，大的batch任务会导致后续batch任务积压，对于structured streaming任务影响如何，本篇文章主要来做一下简单的说明。 本篇文章的全称为设置trigger后，运行时间长 阅读全文