2023年8月7日
HDFS内存估算方法（看这一篇就够了）
摘要： 背景提要： 场景为1PB数据，平均文件大小为2MB，并且每个文件都携带100个HDFS标签属性（实际不会这么多）。 计算方法如下: 对的，扩展属性会存储在HDFS的元数据中，因此当有大量文件携带扩展属性时，会对NameNode的内存占用产生影响。 在这个新的情况下，我们假设每个文件携带100个扩展属 阅读全文
posted @ 2023-08-07 00:07 Later^^ 阅读(370) 评论(0) 推荐(0) 编辑