摘要: 1、 Redis简介redis是Nosql数据库中使用较为广泛的非关系型内存数据库,redis内部是一个key-value存储系统。它支持存储的value类型相对更多,包括string(字符串)、list(链表)、set(集合)、zset(sorted set –有序集合)和hash(哈希类型,类似 阅读全文
posted @ 2019-11-23 13:52 啊啊啊啊鹏 阅读(2388) 评论(0) 推荐(0) 编辑
摘要: bypass运行机制 下图说明了bypass SortShuffleManager的原理。bypass运行机制的触发条件如下: shuffle map task数量小于spark.shuffle.sort.bypassMergeThreshold参数的值。 不是聚合类的shuffle算子(比如red 阅读全文
posted @ 2019-11-23 09:43 啊啊啊啊鹏 阅读(1504) 评论(0) 推荐(0) 编辑
1 2