山君 - 博客园

2017年7月7日

摘要： ps: 使用的hue版本为 hue-3.10.0 一.【jobbrowser刷流量】基本一分钟刷新一次，执行GET /jobbrowser/ 使用浏览器自带的工具web开发者->网络监控流量：解决jobbrowser刷流量的问题：修改$HUE_HOME/desktop/core/src/de 阅读全文

posted @ 2017-07-07 01:35 山君阅读(1075) 评论(0) 推荐(0) 编辑

解决hue/hiveserver2对于hive date类型显示为NULL的问题

摘要：用户报在Hue中执行一条sql：select admission_date, discharge_date,birth_date from hm_004_20170309141149.inpatient_visit limit 20; 返回的结果中date类型的列全部显示为null，可是在hive客阅读全文

posted @ 2017-07-07 01:05 山君阅读(3823) 评论(0) 推荐(0) 编辑

解决kylin sync table报错：MetaException(message:java.lang.ClassNotFoundException Class org.apache.hive.hcatalog.data.JsonSerDe not found

摘要：在kylin-gui中sync表default.customer_visit时报错：如果此表已被别的project引入，在另一个project中sync时报错为：下面是此表的定义，ClassNotFoundException中的类就是此表用到的JsonSerDe: 解决方案：解决方案：相关j 阅读全文

posted @ 2017-07-07 00:49 山君阅读(8163) 评论(0) 推荐(0) 编辑

解决hiveserver2报错：java.io.IOException: Job status not available - Error while processing statement: FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.mr.MapRedTask

摘要：用户使用的sql: select count( distinct patient_id ) from argus.table_aa000612_641cd8ce_ceff_4ea0_9b27_0a3a743f0fe3; 下面做不同的测试： 1.beeline -u jdbc:hive2://0.0. 阅读全文

posted @ 2017-07-07 00:27 山君阅读(37621) 评论(0) 推荐(0) 编辑

2017年7月4日

hue解决timed out(code THRIFTSOCKET):None

摘要：报错栈：使用的hiveserver2有问题，响应太慢导致超时。HS2有问题，重启HS2后解决。阅读全文

posted @ 2017-07-04 23:02 山君阅读(1362) 评论(0) 推荐(0) 编辑

解决sqoop 导入oracle表时 --split-by参数为日期类型时的报错：ORA-01861: literal does not match format string

摘要：报错栈：报错为sql抛出，sql改写后执行成功，下面两句都可以： sqoop的一个bug: https://issues.apache.org/jira/browse/SQOOP-1946, 解决方案大致为转换成string类型即可。发现这个列的类型为date, 因此解决方案为： --split- 阅读全文

posted @ 2017-07-04 23:01 山君阅读(5278) 评论(0) 推荐(0) 编辑

解决sqoop报错：java.lang.OutOfMemoryError: Java heap space

摘要：报错栈：解决：调小sqoop参数：--fetch-size 解决：调小sqoop参数：--fetch-size 解决过程，查看sqoop源码，看到fetchSize，想到调整这个参数： ps: 调大mapper参数不管用，曾设置过参数：-D mapreduce.map.memory.mb=8192 阅读全文

posted @ 2017-07-04 22:58 山君阅读(3389) 评论(0) 推荐(0) 编辑

解决sqoop导入报错：Caused by: java.sql.SQLException: Protocol violation

摘要：报错信息：参考：http://blog.csdn.net/wsm6591289/article/details/34425919 阅读全文

posted @ 2017-07-04 22:56 山君阅读(3003) 评论(0) 推荐(0) 编辑

解决hue报错：timed out (code THRIFTSOCKET): None

摘要：报错栈：解决：适当调大超时时间 # Timeout in seconds for thrift calls to Hive service server_conn_timeout=120 阅读全文

posted @ 2017-07-04 22:54 山君阅读(2572) 评论(0) 推荐(0) 编辑

解决Sqoop报错Could not load db driver class: com.intersys.jdbc.CacheDriver

摘要：报错栈：原因：执行导入的MR任务时找不到数据库连接的驱动包，只需把CacheDB.jar放到$SQOOP_HOME/lib下即可，sqoop提交MR任务时会自动把这个目录下的所有Jar包放入MR Job的Classpath中阅读全文

posted @ 2017-07-04 22:52 山君阅读(4837) 评论(2) 推荐(0) 编辑