ZacksTang

摘要： 1. OutputCommitters MapReduce使用一个提交协议来确保作业（job）和任务（task）都完全成功或失败。这个通过 OutputCommiter来实现。 新版本 MapReduce API中，OutputCommitter 由OutputFormat 通过getOutputC 阅读全文

摘要： 1. 神经元模型 在神经网络中，最基本的单元为神经元。在生物的角度上来看，神经元互相连接，在神经元处于“兴奋“状态时，会向其相连的神经元传递化学物质。其中处于”兴奋“的条件为：神经元的电位达到某个阈值。 类似的，在神经网络模型中，一个基本的神经元模型为： 1. 神经元模型 在神经网络中，最基本的单元 阅读全文

摘要： 从 Hive 刚推出到现在，得益于社区对它的不断贡献，使得 Hive执行 query 效率显著提升。其中比较有代表性的功能如 Tez （将多个 job整合为一个DAG job）以及 CBO（Cost-based-optimization）。 Hive 在 2.0 版本以后推出了一个新特性名为 LLA 阅读全文

摘要： 1. 启动Kafka Server bin/kafka-server-start.sh config/server.properties & 2. 创建一个新topic bin/kafka-topics.sh --create --zookeeper xxxx --replication-facto 阅读全文

摘要： RegionServer Splitting 实现 HBase 中的写请求由 Region Server 处理，这些数据首先存储在 memstore （RegionServer 里的一个存储系统）里。一旦 memstore 满了后，它的内容会被写到磁盘，在磁盘上以文件的形式存储（HFile），这个事 阅读全文

摘要： GC算法：实现 上面我们介绍了GC算法中的核心概念，接下来我们看一下JVM里的具体实现。首先必须了解的一个重要的事实是：对于大部分的JVM来说，两种不同的GC算法是必须的，一个是清理Young Generation的算法，另一种是清理Old Generation的算法。 在JVM里有各种各样的这种内 阅读全文

摘要： GC算法：基础 在介绍GC算法在实际场景中的实现之前，我们先定义一些必要的术语，以及GC算法的基本准则。具体的细节会因收集器的不同而稍有区别，但是基本上来说，所有的收集器会关注以下两个方面： 在所有的收集器内部，第一步实现的均是：遍历出所有存活的对象。由标记（Marking）进程完成。 标记所有可达 阅读全文

摘要： Block Cache HBase提供了两种不同的BlockCache实现，用于缓存从HDFS读出的数据。这两种分别为： 默认的，存在于堆内存的（on-heap）LruBlockCache 存在堆外内存的（off-heap）BucketCache 下面我们会讨论每种方法的优点和缺点、如何对两种方式做 阅读全文

摘要： Minor GC vs Major GC vs Full GC 垃圾回收的活动会清理对内存中的不同区域，这些事件一般被称为Minor，Major以及Full GC events。本章我们会讨论这些清理事件的不同之处，当然，这些差别对我们来说并不是最重要的。 通常来说，对我们更有意义的是：应用是否满足 阅读全文

摘要： 什么是垃圾回收？ 垃圾回收是追踪所有正在被使用的对象，并标注剩余的为garbage。这里我们先从JVM的GC是如何实现的说起。 手动内存管理 在开始介绍垃圾回收之前，我们先复习一下手动内存管理。它是指你需要明确的为你的数据手动分配需要的空闲内存，但是如果用完后忘了free 掉这些内存，则之后也无法再 阅读全文