2023年11月19日
hadoop的文件存储格式parquet
摘要： hadoop 里支持许多压缩算法。压缩的好处主要有两点：1. 减少了文件占用的存储空间，原来上 T 的文件可能压缩完以后只需要两三百 G 的空间即可；2. 文件的体积小了以后，数据传输的速度自然就快了。在现在的大数据环境下，这两点显得更加重要。所以现在 hdfs 文件系统上存的文件，如果数据量大到一 阅读全文
posted @ 2023-11-19 10:26 一叶菩提一粒尘 阅读(274) 评论(0) 推荐(0) 编辑