clamaa

摘要： 最近一周都在查项目的各种问题，由于对原有的一个MapReduce分析数据的项目进行重构，减少了运行时的使用资源，但是重构完成后，在Reduce端总是不定时地抛出JVM的相关错误，非常随机，没有发现有什么特殊的规律性。问题在Reduce的控制台显示信息： Exception from cont... 阅读全文

摘要： 最近仔细研究了以下公司中使用的SequenceFile文件格式，SequenceFile的格式比较紧凑，实现了从中间读取文件内容（便于hadoop将文件进行适当地切分），同时也可以支持仅读取文件的元数据功能。 概述经过总结后的文件格式图大概如下： 其中进入到SequenceFile的所有... 阅读全文

摘要： 本文是董西成《Hadoop技术内幕》一书的读书总结。 MapReduce应用广泛的原因之一就是其易用性，提供了一个高度抽象化而变得非常简单的编程模型，它是在总结大量应用的共同特点的基础上抽象出来的分布式计算框架，在其编程模型中，任务可以被分解成相互独立的子问题。MapReduce编程模... 阅读全文

摘要： 问题背景 本次进行一个项目的重构，在某些活动数据量比较大的情况下，会偶尔出现1200s超时的情况，如下： AttemptID:attempt_1410771599055_11709_m_000033_0 Timed out after 1200 secs 而hadoop会不断启动备份任... 阅读全文

摘要： 最近的MapReduce端的Partition根据map生成的Key来进行哈希，导致哈希出来的Reduce端处理任务数量非常不均匀，有些Reduce端处理的数据量非常小（几分钟就执行完成，而最后的part-结果显示其输出文件为0，没有处理任何任务），而有些Reduce端需要执行大量的任务（... 阅读全文

摘要： 访问者模式是对象的行为模式。访问者模式的目的是封装施加在某种数据结构元素上的操作。一旦一些操作需要修改，接受这个操作的数据结构可以保持不变。 个人觉得访问者模式相对其他的设计模式来说稍微复杂，难理解一点，要理解这个模式首先需要了解“单分派与多分派”。 单分派与多分派根据对象的类型对执行方法进... 阅读全文

摘要： 问题描述我们的数据分析平台是单一的Map/Reduce过程，由于半年来不断地增加需求，导致了问题已经不是那么地简单，特别是在Reduce阶段，一些大对象会常驻内存。因此越来越顶不住压力了，当前内存问题已经是最大的问题，每个Map占用5G，每个Reduce占用9G！直接导致当数据分析平台运行时... 阅读全文

摘要： 本例子使用的操作系统MacOS, 64位JVM。 JNI编写的几个步骤如下： 编写Java代码，并注明native方法： public class HelloJni { public native void displayHelloJni(); public static voi... 阅读全文

摘要： 由于在项目中需要大致计算一下对象的内存占用率（Hadoop中的Reduce端内存占用居高不下却又无法解释），因此深入学习了一下如何准确计算对象的大小。 使用system.gc()和java.lang.Runtime类中的freeMemory(),totalMemory(),maxMemory... 阅读全文

摘要： mapreduce中的combine过程hadoop的map过程执行完成后，每一个map都可能会产生大量的本地输出，Combiner的作用就是对map端的输出先做一次合并，减少在map和reduce节点之间的数据传输量，提高网络I/O性能。 Combiner最基本的就是实现本地key的聚合... 阅读全文