Hadoop MapReduce中压缩技术的使用
摘要：CompressionandInputSplits当我们使用压缩数据作为MapReduce的输入时，需要确认数据的压缩格式是否支持切片？假设HDFS中有一个未经压缩的大小为1GB的文本文件，如果HDFS Block大小为128MB，那么这个文件会被HDFS存储为8个Block。当MapReduce ...
阅读全文
摘要：文件压缩主要有两方面的好处：一方面节省文件存储空间；另一方面加速网络数据传输或磁盘读写。当处理大规模的数据时这些效果提升更加明显，因此我们需要仔细斟酌压缩在Hadoop环境下的使用。目前已经存在很多压缩格式、工具和算法，各有特点，如下图：说明：a. DEFLATE是一种压缩算法，标准实现是zlib，...
阅读全文
摘要：FileInputFormat（org.apache.hadoop.mapreduce.lib.input.FileInputFormat）是专门针对文件类型的数据源而设计的，也是一个抽象类，它提供两方面的作用：（1）定义Job输入文件的静态方法；（2）为输入文件形成切片的通用实现；至于如何将切片中...
阅读全文
摘要：Hadoop可以处理不同数据格式（数据源）的数据，从文本文件到（非）关系型数据库，这很大程度上得益于Hadoop InputFormat的可扩展性设计，InputFormat层次结构图如下：InputFormat（org.apache.hadoop.mapreduce.InputFormat）被设计...
阅读全文
摘要：Yarn（Yet Another Resource Negotiator）是一个Hadoop集群资源管理系统，Hadoop2时被引入，旨在提高MapReduce的性能，但YARN已足够通用，使得它可以支持其它的分布式应用。Yarn本身提供了一系列API用于用户应用程序与集群资源进行交互，这些API复...
阅读全文
