2018年8月12日
工作采坑札记：2. Hadoop中MultipleInputs的使用陷阱
摘要： 1. 背景 近日在一个Hadoop项目中使用MultipleInputs增加多输入文件时，发现相同路径仅会加载一次，导致后续的统计任务严重失真。本博文旨在记录异常的排查及解决方案。 2. 情景重现 (1) 准备简版的输入文件test，文件内容为"i am ws"，输入的HDFS路径为/work/ju 阅读全文
posted @ 2018-08-12 22:05 mengrennwpu 阅读(567) 评论(0) 推荐(0) 编辑