摘要：
Zookeeper 架构 首先简单介绍下 Zookeeper 集群，一个 Zookeeper 集群通常由一组机器组成，一般3~5台集群就可以组成一个 Zookeeper 集群。集群拓扑图基本如下： Zookeeper 集群中每一个节点都会在内存中维护当前的节点状态，并且彼此之间保持着通信 Leade 阅读全文
摘要：
前言 有同事问到，Spark读取一张Hive表的数据Task有一万多个，看了Hive表分区下都是3MB~4MB的小文件，每个Task只处理这么小的文件，实在浪费资源浪费时间。而我们都知道Spark的Task数由partitions决定，所以他想通过repartition(num)的方式来改变分区数， 阅读全文