随笔分类 -  hive

Hive Bug修复:ORC表中array数据类型长度超过1024报异常
摘要：目前HVIE里查询如下语句报错： select * from dw.ticket_user_mtime limit 10; 错误如下： 17/07/06 16:45:38 [main]: DEBUG impl.RecordReaderImpl: merge = [{data range [22733 阅读全文
posted @ 2018-06-22 10:38 丹江湖畔养蜂子赵大爹 阅读(2794) 评论(0) 推荐(0) 编辑
使用JAVA API 解析ORC File
摘要：使用JAVA API 解析ORC File orc File 的解析过程中，使用FileInputFormat的getSplits(conf, 1)函数， 然后使用 RecordReaderreader = in.getRecordReader(splits[0], conf, Reporter.N 阅读全文
posted @ 2018-03-08 16:48 丹江湖畔养蜂子赵大爹 阅读(2744) 评论(0) 推荐(0) 编辑
hadoop2.6 上hive运行 报“native-lzo library not available”异常处理
摘要：环境：Hadoop 2.6.0 + hive-0.14.0 问题出现的背景：在hive中建表 （建表语句如下），并且表的字段中有Map，Set,Collection等集合类型。 CREATE EXTERNAL TABLE agnes_app_hour( start_id string, current_time string, app_name string, app_version s... 阅读全文
posted @ 2018-01-08 14:03 丹江湖畔养蜂子赵大爹 阅读(5652) 评论(2) 推荐(1) 编辑
启动hive命令时指定参数或自定义参数
摘要：启动hive命令时指定参数或自定义参数 在hive启动命令中指定一个参数 在hive启动命令中指定多个参数,这些参数是hive site.xml中参数，也开始自定义的惨。 在resouceManager 的UI页面中查看job.xml文件中可以找到如下自定义的参数： 阅读全文
posted @ 2017-02-23 18:03 丹江湖畔养蜂子赵大爹 阅读(1169) 评论(0) 推荐(0) 编辑
hive执行结果moveTask操作失败
摘要：hive执行结果moveTask操作失败 Apache Hive 2.1.0 ，在执行"INSERT OVERWRITE TABLE ...... select "或者 "insert overwrite directory /tmp/data/hive test "操作，如果生成的结果文件是多个时 阅读全文
posted @ 2017-02-15 15:03 丹江湖畔养蜂子赵大爹 阅读(12382) 评论(0) 推荐(0) 编辑

点击右上角即可分享
微信分享提示