摘要：
转载：https://my.oschina.net/tjt/blog/2250953 在实际使用 spark + parquet 的时候, 遇到了两个不解的地方: 我们只有一个 parquet 文件(小于 hdfs block size), 但是 spark 在某个 stage 生成了4个 task 阅读全文
摘要：
HashMap 为什么是线程不安全的？ modCount++ public V put(K key, V value) { if (key == null) return putForNullKey(value); int hash = hash(key.hashCode()); int i = i 阅读全文
摘要：
ArrayBlockingQueue介绍 ArrayBlockingQueue是数组实现的线程安全的有界的阻塞队列。 线程安全是指，ArrayBlockingQueue内部通过“互斥锁”保护竞争资源，实现了多线程对竞争资源的互斥访问。 有界是指，ArrayBlockingQueue对应的数组是有界限 阅读全文
摘要：
LinkedBlockingQueue介绍 LinkedBlockingQueue是一个单向链表实现的阻塞队列。该队列按 FIFO排序元素，新元素插入到队列的尾部，并且队列获取操作会获得位于队列头部的元素。 此外，LinkedBlockingQueue可以指定队列的容量。如果不指定，默认容量大小等于 阅读全文
摘要：
在创建线程池时我们可以指定自己的拒绝策略，如下 什么时候会触发拒绝策略 当我们调用 shutdown 等方法关闭线程池后，如果再向线程池内提交任务，就会遭到拒绝。 线程池没有空闲线程（线程池的线程达到了最大线程数，并且都在执行任务）并且队列已经满了，不能在存放任务了。 拒绝策略 ThreadPool 阅读全文
摘要：
ThreadPoolExecutor 中关闭线程池的方法 判断线程池状态的方法 shutdown() 调用 shutdown() 方法之后线程池并不是立刻就被关闭，因为这时线程池中可能还有任务正在执行，或是任务队列中有正在等待的任务，它会等待正在执行的任务和队列中等待的任务执行完毕后才彻底关闭。 注 阅读全文
摘要：
Zookeeper 架构 首先简单介绍下 Zookeeper 集群，一个 Zookeeper 集群通常由一组机器组成，一般3~5台集群就可以组成一个 Zookeeper 集群。集群拓扑图基本如下： Zookeeper 集群中每一个节点都会在内存中维护当前的节点状态，并且彼此之间保持着通信 Leade 阅读全文
摘要：
前言 有同事问到，Spark读取一张Hive表的数据Task有一万多个，看了Hive表分区下都是3MB~4MB的小文件，每个Task只处理这么小的文件，实在浪费资源浪费时间。而我们都知道Spark的Task数由partitions决定，所以他想通过repartition(num)的方式来改变分区数， 阅读全文
摘要：
转载自网易范欣欣 http://hbasefly.com/ 最近想来，大数据相关技术与传统型数据库技术很多都是相互融合、互相借鉴的。传统型数据库强势在于其久经考验的SQL优化器经验，弱势在于分布式领域的高可用性、容错性、扩展性等，假以时日，让其经过一定的改造，比如引入Paxos、raft等，强化自己 阅读全文