嘣嘣嚓

摘要： package com.zhen.hdfs; import java.io.BufferedInputStream; import java.io.FileInputStream; import java.io.IOException; import java.io.InputStream; import java.io.OutputStream; import java.net.URI; i... 阅读全文

摘要： package com.zhen.hdfs; import java.io.IOException; import java.io.InputStream; import java.net.URI; import java.net.URISyntaxException; import org.apache.hadoop.conf.Configuration; import org.apach... 阅读全文

摘要： Shuffle map端 map函数开始产生输出时，并不是简单地将它写到磁盘。这个过程很复杂，它利用缓冲的方式写到内存并出于效率的考虑进行预排序。每个map任务都有一个环形内存缓冲区用于存储任务输出。在默认情况下，缓冲区的大小为100MB，辞职可以通过io.sort.mb属性来调整。一旦缓冲内容达到 阅读全文

摘要： YARN中的失败分析 对于在YARN中运行的MapReduce程序，需要考虑以下几种实体的失败任务、application master、节点管理器、资源管理器 1. 任务运行失败 任务运行失败类似于MapReduce1的情况。JVM的运行时异常和突然退出被反馈给application master 阅读全文

摘要： 经典的MapReduce1中的失败在MapReduce1运行时，主要考虑三种失败的模式，运行任务失败、tasktracker失败以及jobtracker失败1. 任务运行失败首先考虑子任务失败的情况。最常见的情况是map任务或reduce任务中的用户代码抛出运行异常。如果发生这种情况，子任务JVM进 阅读全文

摘要： 给HBase添加一二级索引，HBase协处理器结合solr 代码如下 Solr代码处理如下 协处理器使用步骤如下 1.代码打jar包，并上传至HDFS 2.创建HBase表并添加协处理器，如下 3.测试 此时，可通过HBase日志查看协处理器的处理情况。 没错误的情况下，Solr中应该已经也有数据了 阅读全文

摘要： 日志采集 对于flume的原理其实很容易理解，我们更应该掌握flume的具体使用方法，flume提供了大量内置的Source、Channel和Sink类型。而且不同类型的Source、Channel和Sink可以自由组合—–组合方式基于用户设置的配置文件，非常灵活。比如：Channel可以把事件暂存 阅读全文

摘要： flume 作为 cloudera 开发的实时日志收集系统，受到了业界的认可与广泛应用。Flume 初始的发行版本目前被统称为 Flume OG（original generation），属于 cloudera。但随着 FLume 功能的扩展，Flume OG 代码工程臃肿、核心组件设计不合理、核心 阅读全文

摘要： YARN(MapReduce2) Yet Another Resource Negotiator / YARN Application Resource Negotiator对于节点数超出4000的大型集群，MapReduce1系统开始面临着扩展性瓶颈。所以有了YARN的出现。YARN将jobtra 阅读全文

摘要： MapReduce1任务图解 最顶层包含4个独立的实体客户端，提交MapReduce作业jobtracker，协调作业的运行。Jobtracker是一个Java应用程序，它的主类是JobTrackertasktracker，运行作业划分后的任务。tasktracker是Java应用程序，它的主类是T 阅读全文