摘要: 今天用Hive的JDBC实例时出现了HiveSQLException: Error while compiling statement: No privilege 'Create' found for outputs { database:default }的错误,日志如下。 从日志可以清楚地看出, 阅读全文
posted @ 2018-05-24 19:59 子墨言良 阅读(4023) 评论(0) 推荐(0) 编辑
摘要: hive性能调优 (一)Hadoop 计算框架的特性 什么是数据倾斜 由于数据的不均衡原因,导致数据分布不均匀,造成数据大量的集中到一点,造成数据热点 Hadoop框架的特性 不怕数据大,怕数据倾斜 jobs数比较多的作业运行效率相对比较低,比如即使有几百行的表,如果多次关联多次汇总,产生十几个jo 阅读全文
posted @ 2018-05-24 15:56 子墨言良 阅读(423) 评论(0) 推荐(0) 编辑
摘要: 1)本地目录/home/hadoop/test下的test4.txt文件内容(每行数据之间用tab键隔开)如下所示: 2)启动hiveserver2 3) 程序代码 4) 运行结果(右击-->Run as-->Run on Hadoop) 此时直接运行会报错,解决方案请见下一篇博文:HiveSQLE 阅读全文
posted @ 2018-05-24 15:53 子墨言良 阅读(5245) 评论(0) 推荐(0) 编辑
摘要: Hive 的权限控制 Hive从0.10可以通过元数据控制权限。但是Hive的权限控制并不是完全安全的。基本的授权方案的目的是防止用户不小心做了不合适的事情。 为了使用Hive的授权机制,有两个参数必须在hive-site.xml中设置: hive.security.authorization.en 阅读全文
posted @ 2018-05-24 10:02 子墨言良 阅读(14096) 评论(0) 推荐(0) 编辑