摘要：
在Spark的RDD中引入过lineage这一概念。指的是RDD之间的依赖。而Alluxio则使用lineage来表示文件之间的依赖。在代码层面，指的是fileID之间的依赖。 代码中的注释指出： 有了lineage之后，如何使用lineage来实现文件的容错呢？ 在源码中，有2个关键类解决了这个问 阅读全文
摘要：
原创链接：https://cwiki.apache.org/confluence/display/ZOOKEEPER/Zab+vs.+Paxos Is Zab just a special implementation of Paxos? No, Zab is a different protoco 阅读全文
摘要：
最近工作碰到一个问题，如何将大量数据（100MB+）导入到远程的mysql server上。尝试1： Statement执行executeBatch的方法。每次导入1000条记录。时间为12s/1000条。比较慢。 对于1M次的插入这意味着需要4个多小时，期间还会因为网络状况，数据库负载等因... 阅读全文
摘要：
难于理解的技术文本，之所以难，在于文本本身，以及阅读者的阅读方式。我们可以先想一下我们感到难的时候，是什么样的状态。 从文献的角度讲： 比如，读到一份日志文本，这个日志是我们第一次碰到的。这个文本有什么特征呢？ 大量的以前没有遇见过的信息。像这样： 再比如，我们阅读一份科技文献。就让我们... 阅读全文
摘要：
Spark is no rocket science!——博主了解分布式计算的朋友，一定知道DAG这样一个概念。其实我接触DAG也是在学习MapReduce时了解到的。（具体可查阅《大数据日知录：架构与算法》这本书。推荐阅读。）DAG，有向无环图。可以脑补一下DAG是个什么东西：有向、无环、图，如是... 阅读全文
摘要：
本文为《hadoop技术内幕：深入解析MapReduce架构设计与实现原理》一书第9章《Hadoop性能调优》的总结。图1 Hadoop层次结构图从管理员角度进行调优1.硬件选择master配置（可靠性，内存，CPU主频等）优于slave。2.操作系统参数调优 1）增大同时打开的文件描述符和网络连... 阅读全文
摘要：
声明：本文摘录自《大数据日知录——架构与算法》一书。较常见的计算模式有4类，实际应用中大部分ETL任务都可以归结为这些计算模式或者变体。1.求和模式 a.数值求和 比如我们熟悉的单词计数，即使该模式的一个应用。求最大最小值，求平均值皆属此类。 b.记录求和 非数值内容的累加，形成队列。比如将... 阅读全文
摘要：
源自单点失效问题，也就是当NameNode不可用的时候，用什么办法可以平滑过渡？最直接的办法是再添加一个备用的NN，这就产生了Active NameNode和Standby NameNode的设计思路。接下来的一个问题是，如何让Standby Namenode的文件系统命名空间元数据与Active ... 阅读全文
摘要：
仿照《hadoop技术内幕：深入解析MapReduce架构设计与实现原理》中的原图，我用手绘制了一份类似的图-_-4大部分：HDFS，Client，JobTracker，TaskTrackerYARN的思想在于，将资源调度和作业控制分开，从而降低单个节点（JobTracker的负担）。Applica... 阅读全文
摘要：
典型代码如下：导入UDF类：import org.apache.hadoop.hive.ql.exec.UDF;public class UpperCassUDF extends UDF{ public String evaluate(String input){ if(input==nul... 阅读全文