随笔分类 -  文件格式

HDFS之SequenceFile和MapFile
摘要：Hadoop的HDFS和MapReduce子框架主要是针对大数据文件来设计的，在小文件的处理上不但效率低下，而且十分消耗内存资源(每一个小文件占用一个Block,每一个block的元数据都存储在namenode的内存里)。解决办法通常是选择一个容器，将这些小文件组织起来统一存储。HDFS提供了两种类 阅读全文
posted @ 2016-12-16 16:51 XGogo 阅读(2050) 评论(0) 推荐(0) 编辑
深入分析Parquet列式存储格式【转】
摘要：Parquet是面向分析型业务的列式存储格式，由Twitter和Cloudera合作开发，2015年5月从Apache的孵化器里毕业成为Apache顶级项目，最新的版本是1.8.0。 列式存储 列式存储和行式存储相比有哪些优势呢？ 当时Twitter的日增数据量达到压缩之后的100TB+，存储在HD 阅读全文
posted @ 2016-12-16 16:43 XGogo 阅读(1469) 评论(0) 推荐(0) 编辑

点击右上角即可分享
微信分享提示