2019年11月7日
你遇到了吗？Caused by: org.apache.hadoop.ipc.RemoteException(org.apache.hadoop.fs.FileAlreadyExistsException)
摘要： 我在使用 Structured Streaming 的 ForeachWriter，写 HDFS 文件时，出现了这个异常 这个异常出现的原因是HDFS作为一个分布式文件系统，支持多线程读，但是不支持多线程写入。所以HDFS引入了一个时间类型的锁机制，也就是HDFS的租约机制（ lease holde 阅读全文
posted @ 2019-11-07 20:10 旻天Clock 阅读(2013) 评论(1) 推荐(0) 编辑