09 2018 档案

troubleshooting-执行导数shell脚本抛异常error=2, No such file or directory
摘要：Cannot run program "order_log.sh" (in directory "/data/yarn/nm/usercache/chenweidong/appcache/application_1536202736675_0048/container_1536202736675_0 阅读全文
posted @ 2018-09-23 18:06 阿東哥© 阅读(739) 评论(0) 推荐(0) 编辑
troubleshooting-sqoop mysql导入hive 报：GC overhead limit exceeded
摘要：Halting due to Out Of Memory Error...18/09/13 21:42:17 INFO mapreduce.Job: Task Id : attempt_1536756558194_0031_m_000001_0, Status : FAILEDError: Java 阅读全文
posted @ 2018-09-23 17:56 阿東哥© 阅读(2231) 评论(0) 推荐(0) 编辑
troubleshooting-When importing query results in parallel, you must specify --split-by.
摘要：原因分析 -m 4 \ 导数命令中map task number=4，当-m 设置的值大于1时，split-by必须设置字段（需要是 int 类型的字段），如果不是 int类型的字段，则需要加上参数-Dorg.apache.sqoop.splitter.allow_text_splitter=tru 阅读全文
posted @ 2018-09-23 17:50 阿東哥© 阅读(527) 评论(0) 推荐(0) 编辑
troubleshooting-windows 在 CDH集群环境读取 Hive 表 KrbException: Cannot locate default realm
摘要：KrbException: Cannot locate default realm 解决办法 1）拷贝需要组件的配置文件到项目中的 /resources/目录。如hadoop，目录/etc/hadoop/conf/ 2）代码中写入如下代码 System.setProperty("java.secur 阅读全文
posted @ 2018-09-23 17:46 阿東哥© 阅读(7349) 评论(0) 推荐(1) 编辑
troubleshooting-Kerberos 鉴权异常
摘要：ERROR transport.TSaslTransport: SASL negotiation failurejavax.security.sasl.SaslException: GSS initiate failed [Caused by GSSException: No valid crede 阅读全文
posted @ 2018-09-23 17:35 阿東哥© 阅读(1999) 评论(0) 推荐(0) 编辑
troubleshooting-执行Oozie调度Hive导数脚本抛java.io.IOException: output.properties data exceeds its limit [2048]
摘要：执行Oozie调度Hive导数脚本抛java.io.IOException: output.properties data exceeds its limit [2048] 原因分析 shell脚本中一次提交的hql-mr作业量太大，其中包含的信息超过oozie launcher一次容许的最大值2K 阅读全文
posted @ 2018-09-23 17:29 阿東哥© 阅读(601) 评论(0) 推荐(0) 编辑
Kerberos 常用命令
摘要：最近项目组用CDH搭建数据开发环境，有用到Kerberos安全组件。如下是相关命令，请参考： 进入kadmin kadmin.local / kadmin 创建数据库 kdb5_util create -r HADOOP.COM -s 启动kdc服务 service krb5kdc start 启动 阅读全文
posted @ 2018-09-20 12:00 阿東哥© 阅读(5536) 评论(2) 推荐(1) 编辑

点击右上角即可分享
微信分享提示