摘要: 需要注意的是:要通过context.getInputSplit() 获取切片信息,job设置时,一定不要合并小文件。 阅读全文
posted @ 2017-08-30 16:56 Nucky_yang 阅读(947) 评论(0) 推荐(0) 编辑
摘要: 上面是很简单的一个例子,注意Shell.ShellCommandExecutor.execCommand内的参数: demo2:判断yarn 的队列中是否有任务提交,队列可以指定。 demo3:shell对管道符号'|' 和重定向符号‘>’ 的支持,需要用sh -c 后边拼接命令 demo4:直接用 阅读全文
posted @ 2017-08-30 15:12 Nucky_yang 阅读(731) 评论(0) 推荐(0) 编辑