随笔分类 -  hive

hive爬坑
摘要：今天在执行insert语句的时候，发现hive报错 ERROR : Job Submission failed with exception 'org.apache.hadoop.security.AccessControlException(Permission denied: user=hive 阅读全文
posted @ 2021-07-09 15:06 nohert 阅读(664) 评论(0) 推荐(0)
hive添加自定义函数
摘要：hive添加自定义函数方式有两种，一种是继承UDF ，另一种继承GenericUDF UDF开发较为方便，先新版本中已被弃用，建议使用GenericUDF org.apache.hadoop.hive.ql.exec.UDF GenericUDF开发更加灵活，但也增加了复杂成本 org.apache 阅读全文
posted @ 2021-06-19 10:21 nohert 阅读(936) 评论(0) 推荐(0)
Hive不常用操作记录
摘要：Hive列转行： select school,concat_ws('|',collect_set(name)) as name from tmp_01 group by school; 注意：collect_set 有重复的会去重， collect_list 有重复的不去重 hive行转列： sel 阅读全文
posted @ 2021-06-19 10:06 nohert 阅读(110) 评论(0) 推荐(0)
sqoop将hive数据导出到myql乱码问题解决
摘要：进入myql 执行 show variables like 'character%'; 看到如下： 乱码原因，databases编码格式不一致导致的乱码，解决方法如下： 方法一： 执行如下两个命令即可： set character_set_database=utf8; set character_s 阅读全文
posted @ 2021-06-19 10:04 nohert 阅读(200) 评论(0) 推荐(0)
Hive默认显示数据库和表名配置
摘要：hive-site.xml添加以下参数： <property> <name>hive.cli.print.current.db</name> <value>true</value> </property> <property> <name>hive.cli.print.header</name> < 阅读全文
posted @ 2021-06-19 10:02 nohert 阅读(199) 评论(0) 推荐(0)
Hive-cli(hive)与Beeline的区别
摘要：发展： hive-cli（hive） 是hive连接hivesever的命令行工具，从hive出生就一直存在，但随着hive功能的增强、bug的修复、版本升级，hive-cli结构的局限性跟不上hive的发展，如果强行更改就不能满足向下兼容，就出现了全新的beeline命令行结构，即就是hive-c 阅读全文
posted @ 2021-06-19 10:01 nohert 阅读(2844) 评论(0) 推荐(1)
hive对比关系型数据库
摘要：对比项 hive 关系型数据库 查询语言 HQL SQL 数据存储 HDFS local FS or RawDevice 执行器 MapReducer Executor 数据inert 支持批量导入和单条插入 支持批量导入和单条插入 数据Update和delete 支持追加，不支持删除 行级别更新和 阅读全文
posted @ 2021-04-09 09:47 nohert 阅读(103) 评论(0) 推荐(0)
hive环境搭建
摘要：注： 本次搭建是基于已经搭建好的hadoop3集群搭建的，故对于hadoop3搭建不做介绍，且本次搭建是以本地模式为例 特别关注：由于hadoop3xy不兼容hive2xy，如使用hive安装会出现各种问题，故使用hive3作为本次环境搭建 1.安装mysql 1.1安装mysql数据库 yum i 阅读全文
posted @ 2021-01-03 22:40 nohert 阅读(417) 评论(0) 推荐(0)
hive初始
摘要：什么是Hive Hive本身是数据仓库。 数据仓库是为了协助分析报告，支持决策，为需要业务智能的企业提供业务流程的改进和指导，从而节省时间和成本，提高质量。它与数据库系统的区别是，数据库系统可以很好地解决事务处理，实现对数据的“增、删、改、查”操作，而数据仓库则是用来做查询分析的数据库，通常不会用来 阅读全文
posted @ 2020-11-15 18:09 nohert 阅读(133) 评论(0) 推荐(0)