2018年9月11日

关于在hue当中使用oozie对sqoop 进行资源调度的出现的问题Job init failed : org.apache.hadoop.yarn.exceptions.YarnRuntimeException: java.io.FileNotFoundException: File does not exist: hdfs://VM200-11:8020/user/admin/.staging

摘要： 今天在做hue的资源调度的操作，执行了好多次一直报下面的错误： 看到这个错误信息我们可以看到文件不存在，其实时间的原因并不是这样的，我们提交任务到集群上面。但是任务的运行不知道该在哪一台机器上执行找不到这个目录所以就报文件不存在了我们只需要在提交任务的时候给他加上环境变量就可以避免这个错误： 让他找 阅读全文

posted @ 2018-09-11 17:30 gxg123 阅读(843) 评论(0) 推荐(0) 编辑

关于在hue当中执行脚本一直刷heart beat 但是yarn上面的任务一直停着，假死的解决方案。

摘要： 最近在做数据迁移的工作，但是那在使用hue建的工作流，提交任务之后两个任务，一个是oozie的常驻进程job laucher，还有一个就是真实的任务。action操作的任务。 执行的结果就是这样的，launcher操作一直停在95%,正真的action操作则一直停在5%这里。然后hue的日志一直在向 阅读全文

posted @ 2018-09-11 17:15 gxg123 阅读(2409) 评论(0) 推荐(0) 编辑

关于在hue当中执行shell脚本，报错Stdoutput Warning: /opt/cloudera/parcels/CDH-5.14.0-1.cdh5.14.0.p0.24/bin/..b/sqoop/../accumulo does not exist! Accumulo imports will fail. Stdoutput Please set $ACCUMULO_HOME to t

摘要： 今天在使用hue做工作流，执行shell脚本的时候出现出现下面这个问题 Stdoutput Warning: /opt/cloudera/parcels/CDH-5.14.0-1.cdh5.14.0.p0.24/bin/..b/sqoop/../accumulo does not exist! Ac 阅读全文

posted @ 2018-09-11 15:35 gxg123 阅读(1030) 评论(0) 推荐(0) 编辑

导航