RICH-ATONE

2021年8月11日 #

Hadoop文件存储格式及Hive数据压缩

摘要: 一、文件的存储格式 1.TEXTFILE 创建表时的默认文件格式,数据被存储成文本格式。文本文件可以被分割和并行处理,也可以使用压缩,比如GZip、LZO或者Snappy。然而大部分的压缩文件不支持分割和并行处理,会造成一个作业只有一个mapper去处理数据,使用压缩的文本文件要确保文件不要过大,一 阅读全文

posted @ 2021-08-11 18:51 RICH-ATONE 阅读(633) 评论(0) 推荐(1) 编辑

导航