2018年9月23日
troubleshooting-执行导数shell脚本抛异常error=2, No such file or directory
摘要： Cannot run program "order_log.sh" (in directory "/data/yarn/nm/usercache/chenweidong/appcache/application_1536202736675_0048/container_1536202736675_0 阅读全文
posted @ 2018-09-23 18:06 阿東哥© 阅读(725) 评论(0) 推荐(0) 编辑
troubleshooting-sqoop mysql导入hive 报：GC overhead limit exceeded
摘要： Halting due to Out Of Memory Error...18/09/13 21:42:17 INFO mapreduce.Job: Task Id : attempt_1536756558194_0031_m_000001_0, Status : FAILEDError: Java 阅读全文
posted @ 2018-09-23 17:56 阿東哥© 阅读(2143) 评论(0) 推荐(0) 编辑
troubleshooting-When importing query results in parallel, you must specify --split-by.
摘要： 原因分析 -m 4 \ 导数命令中map task number=4，当-m 设置的值大于1时，split-by必须设置字段（需要是 int 类型的字段），如果不是 int类型的字段，则需要加上参数-Dorg.apache.sqoop.splitter.allow_text_splitter=tru 阅读全文
posted @ 2018-09-23 17:50 阿東哥© 阅读(495) 评论(0) 推荐(0) 编辑
troubleshooting-windows 在 CDH集群环境读取 Hive 表 KrbException: Cannot locate default realm
摘要： KrbException: Cannot locate default realm 解决办法 1）拷贝需要组件的配置文件到项目中的 /resources/目录。如hadoop，目录/etc/hadoop/conf/ 2）代码中写入如下代码 System.setProperty("java.secur 阅读全文
posted @ 2018-09-23 17:46 阿東哥© 阅读(7110) 评论(0) 推荐(1) 编辑
troubleshooting-Kerberos 鉴权异常
摘要： ERROR transport.TSaslTransport: SASL negotiation failurejavax.security.sasl.SaslException: GSS initiate failed [Caused by GSSException: No valid crede 阅读全文
posted @ 2018-09-23 17:35 阿東哥© 阅读(1888) 评论(0) 推荐(0) 编辑
troubleshooting-执行Oozie调度Hive导数脚本抛java.io.IOException: output.properties data exceeds its limit [2048]
摘要： 执行Oozie调度Hive导数脚本抛java.io.IOException: output.properties data exceeds its limit [2048] 原因分析 shell脚本中一次提交的hql-mr作业量太大，其中包含的信息超过oozie launcher一次容许的最大值2K 阅读全文
posted @ 2018-09-23 17:29 阿東哥© 阅读(590) 评论(0) 推荐(0) 编辑