2017年7月4日
摘要: 报错栈: 使用的hiveserver2有问题,响应太慢导致超时。HS2有问题,重启HS2后解决。 阅读全文
posted @ 2017-07-04 23:02 山君 阅读(1366) 评论(0) 推荐(0) 编辑
摘要: 报错栈: 报错为sql抛出,sql改写后执行成功,下面两句都可以: sqoop的一个bug: https://issues.apache.org/jira/browse/SQOOP-1946, 解决方案大致为转换成string类型即可。发现这个列的类型为date, 因此解决方案为: --split- 阅读全文
posted @ 2017-07-04 23:01 山君 阅读(5284) 评论(0) 推荐(0) 编辑
摘要: 报错栈: 解决:调小sqoop参数:--fetch-size 解决:调小sqoop参数:--fetch-size 解决过程,查看sqoop源码,看到fetchSize,想到调整这个参数: ps: 调大mapper参数不管用,曾设置过参数:-D mapreduce.map.memory.mb=8192 阅读全文
posted @ 2017-07-04 22:58 山君 阅读(3393) 评论(0) 推荐(0) 编辑
摘要: 报错信息: 参考:http://blog.csdn.net/wsm6591289/article/details/34425919 阅读全文
posted @ 2017-07-04 22:56 山君 阅读(3012) 评论(0) 推荐(0) 编辑
摘要: 报错栈: 解决:适当调大超时时间 # Timeout in seconds for thrift calls to Hive service server_conn_timeout=120 阅读全文
posted @ 2017-07-04 22:54 山君 阅读(2579) 评论(0) 推荐(0) 编辑
摘要: 报错栈: 原因:执行导入的MR任务时找不到数据库连接的驱动包,只需把CacheDB.jar放到$SQOOP_HOME/lib下即可,sqoop提交MR任务时会自动把这个目录下的所有Jar包放入MR Job的Classpath中 阅读全文
posted @ 2017-07-04 22:52 山君 阅读(4850) 评论(2) 推荐(0) 编辑
摘要: 报错栈: 调小fetchsize参数也不能解决,那问题很可能是某行数据占用空间很大。根据Sqoop生成的导入表对应的实例化类QueryResult.java的244行可定位到报错列是FILE_CONTENT,是个二进制列, 然后查询原库,果然最大的列长达到180M: ps: 怎么用标准的sql语句查 阅读全文
posted @ 2017-07-04 22:48 山君 阅读(2135) 评论(0) 推荐(0) 编辑
摘要: 报错栈: 原因:kylin集群的build server没有获取到最新meta导致 解决方法:reload metadata 阅读全文
posted @ 2017-07-04 22:39 山君 阅读(2882) 评论(0) 推荐(0) 编辑
摘要: 报错栈: 问题的根本原因是字段值类型异常,本来应该是数字型,里面却存了unicode字符。使用报错信息查不到相关资料,另外增加参数也不能解决:-D mapreduce.map.failures.maxpercent=1, query里面增加: and Specimen is not null 也不能 阅读全文
posted @ 2017-07-04 22:28 山君 阅读(718) 评论(0) 推荐(0) 编辑
摘要: 报错栈: 解决:uniqueidentifier类型的列不能作为参数--split-by的值 阅读全文
posted @ 2017-07-04 22:22 山君 阅读(5723) 评论(0) 推荐(0) 编辑
摘要: 报错栈: 解决: null_string字段kylin要求为string[],但自生成的meta里面却是空串,所以导致json反序列化失败 阅读全文
posted @ 2017-07-04 22:19 山君 阅读(4793) 评论(0) 推荐(0) 编辑
摘要: 报错信息: 解决: meta中/table/下存在同名但大小写不同的两个table的meta, 这个meta文件里column的id起始为0,正常情况应该为1. kylin内部把表的meta存到一个hashmap里,key为大写的表名,不论原来是否为大写。在这个情况中小写的meta的内容把大写的me 阅读全文
posted @ 2017-07-04 22:18 山君 阅读(8666) 评论(0) 推荐(0) 编辑
摘要: 报错信息: 解决过程: 根据报错信息排查源码: 193行pi不为空,那就只能是pi.getExtFilters()为空,查看对应的meta数据,此字段果然为null。正常情况下此字段没值时应该是个空数组,改为空数组后解决。原来异常meta是用户自己生成通过后台程序传入kylin的。 ps: 上面代码 阅读全文
posted @ 2017-07-04 22:13 山君 阅读(4304) 评论(0) 推荐(0) 编辑