岚天逸见

随笔分类 -  hdfs

Hudi表创建时HDFS上的变化
摘要：SparkSQL 建 Hudi 表语句： ```sql CREATE TABLE t71 ( ds BIGINT, ut STRING, pk BIGINT, f0 BIGINT, f1 BIGINT, f2 BIGINT, f3 BIGINT, f4 BIGINT ) USING hudi PAR 阅读全文

posted @ 2023-05-31 17:26 岚天逸见 阅读(200) 评论(0) 推荐(0)

强制DataNode向NameNode上报blocks
摘要：正常情况下，什么时候上报blocks，是由NameNode通过回复心跳响应的方式触发的。一次机房搬迁中，原机房hadoop版本为2.7.2，新机房版本为2.8.0，采用先扩容再缩容的方式搬迁。由于新旧机房机型不同和磁盘数不同，操作过程搞混过hdfs-site.xml，... 阅读全文

posted @ 2017-05-19 10:26 岚天逸见 阅读(733) 评论(0) 推荐(0)

HDFS块文件和存放目录的关系
摘要：详情请参见DatanodeUtil.java中的函数idToBlockDir(File root, long blockId)。如果block文件没有放在正确的目录下，则DataNode会出现“expected block file path”日志。// g++ -g... 阅读全文

posted @ 2017-05-19 09:30 岚天逸见 阅读(751) 评论(0) 推荐(0)

Failed to place enough replicas
摘要：如果DataNode的dfs.datanode.data.dir全配置成SSD类型，则执行“hdfs dfs -put /etc/hosts hdfs:///tmp/”时会报如下错误：​​2017-05-04 16:08:22,545 WARN org.apache.... 阅读全文

posted @ 2017-05-04 17:00 岚天逸见 阅读(2827) 评论(0) 推荐(0)

导航