豪放婉约派程序员

导航

 

2017年8月7日

摘要: 之前有文章介绍过HDFS租约带来的问题,导致spark应用无法正常读取文件,只能将异常文件找出并且删除后,任务才能继续执行。 但是删除文件实在是下下策,而且文件本身其实并未损坏,只是因为已经close的客户端没有及时的释放租约导致。 按照Hadoop官网的说法,HDFS会启动一个单独的线程,专门处理 阅读全文
posted @ 2017-08-07 19:31 豪放婉约派程序员 阅读(1491) 评论(1) 推荐(0) 编辑