随笔分类 - Hive
发表于 2022-10-18 17:35阅读：709评论：0推荐：0
摘要：##进入Hive客户端后，执行任何SQL都提示如下错误信息 FAILED: RuntimeException Error loading hooks(hive.exec.post.hooks): java.lang.ClassNotFoundException: org.apache.atlas.h
阅读全文 »
发表于 2021-03-04 14:54阅读：3697评论：0推荐：0
摘要：with...as...也叫做子查询部分,语句允许hive定义一个sql片段,供整个sql使用 简介 with...as...需要定义一个sql片段,会将这个片段产生的结果集保存在内存中, 后续的sql均可以访问这个结果集和,作用与视图或临时表类似. 语法限制 with...as...必须和其他sq
阅读全文 »
发表于 2021-03-02 21:36阅读：836评论：0推荐：0
摘要：##1）列转行及相关函数说明: Split(str, separator)：将字符串按照后面的分隔符切割，转换成字符array。 EXPLODE(col)：将hive一列中复杂的array或者map结构拆分成多行。 ##2）语法 lateral view udtf(expression) table
阅读全文 »
发表于 2021-01-24 00:13阅读：436评论：0推荐：0
摘要：删除数据库时提示:message:Database DBname is not empty. One or more tables exist. ##解决方案1: 先删除数据库中的所有表，再删除数据库 ##解决方案2： 强制删除 drop database db_hive cascade;
阅读全文 »
发表于 2021-01-19 14:54阅读：1579评论：0推荐：0
摘要：nohup hiveserver2 &
阅读全文 »
发表于 2020-12-04 19:45阅读：140评论：0推荐：0
摘要：函数总结 date_format：将日期进行格式化 date_add：对当前日期增加天数 next_day：取当前日期的下一个周几 last_day：当前日期的最后一天 regexp_replace: 使用正则表达式匹配目标字符串，匹配成功后替换！ case when：类似于java里的switch
阅读全文 »
发表于 2020-12-02 18:18阅读：138评论：0推荐：0
摘要：数据库的DDL 建库语法 CREATE DATABASE [IF NOT EXISTS] database_name [IF NOT EXISTS] --增强代码的健壮性 [COMMENT database_comment] --这个库是干嘛的 [LOCATION hdfs_path] --你当前的
阅读全文 »
发表于 2020-12-02 16:48阅读：687评论：0推荐：0
摘要：基本数据类型 HIVE MySQL JAVA 长度 例子 TINYINT TINYINT byte 1byte有符号整数 2 SMALINT SMALINT short 2byte有符号整数 20 INT INT int 4byte有符号整数 20 BIGINT BIGINT long 8byte有
阅读全文 »
发表于 2020-12-02 16:43阅读：208评论：0推荐：0
摘要：hadoop压缩配置 MR支持的压缩编码 压缩格式 算法 文件扩展名 是否可切分 DEFLATE DEFLATE .deflate 否 Gzip DEFLATE .gz 否 bzip2 bzip2 .bz2 是 LZO LZO .lzo 是 Snappy Snappy .snappy 否 为了支持多
阅读全文 »
发表于 2020-12-01 19:50阅读：790评论：0推荐：0
摘要：排序 全局排序（Order by） 对整个输出结果集进行排序，只会产生一个Reduce 每个Reduce内部排序（Sort by） Sort By：对于大规模的数据集order by的效率非常低。在很多情况下，并不需要全局排序，此时可以使用sort by。 Sort by为每个reducer产生一个
阅读全文 »
