Hive基础 - 随笔分类 - 逆光飞翔-

Hive分区/分桶

摘要：# 分区 hive的分区的是针对于数据库的分区,将原来的数据(有规律的数据)分为多个区域,数据和表的信息是不会有变化的,但是会增加namenode的压力分区的目的是提升查询效率,将原来的文件进行多层次的管理分区有三种,静态分区,动态分区,混合分区关键字:**partitioned by(字段) 阅读全文

posted @ 2023-07-18 15:15 逆光飞翔- 阅读(72) 评论(0) 推荐(0)

Hive之命令

摘要：Hive之命令说明：此博客只记录了一些常见的hql，create/select/insert/update/delete这些基础操作是没有记录的。一、时间级 select day -- 时间 ,date_add(day,1 - dayofweek(day)) as week_first_day 阅读全文

posted @ 2021-10-02 09:04 逆光飞翔- 阅读(97) 评论(0) 推荐(0)

Hive之权限控制

摘要：Hive之权限一、库级的权限 -- 授予所有权限给某个用户 grant all on msta to user {userName}; -- 授权admin privilege权限 grant ADMIN PRIVILEGE on database {dbName} to user {userNa 阅读全文

posted @ 2021-10-02 08:48 逆光飞翔- 阅读(2074) 评论(0) 推荐(0)

Hive之安装

摘要：# Hive安装 ## 一、安装Hadoop ```shell # hive依赖Hadoop，所以需要安装Hadoop # Hadoop安装手册详见链接:https://www.cnblogs.com/botaoli/p/17565965.html # 执行程序运行在yarn上面，需要启动start 阅读全文

posted @ 2020-10-26 21:08 逆光飞翔- 阅读(276) 评论(0) 推荐(0)

批量查询hive库中所有表的count

摘要：一、准备文件 mkdir /query_hive_table_count touch query_db_name_table touch query_table_result.txt 二、编辑文件 2.1 编辑query_table_result.txt，添加以下内容 table_name .... 阅读全文

posted @ 2020-05-18 10:19 逆光飞翔- 阅读(3260) 评论(0) 推荐(0)

Hive Beeline 命令行参数

摘要：[hadoop@hive ~]$ beeline --help【中文版】 The Beeline CLI 支持以下命令行参数: Option Description --autoCommit=[true/false] 进入一个自动提交模式：beeline --autoCommit=true --au 阅读全文

posted @ 2020-05-18 10:03 逆光飞翔- 阅读(3551) 评论(0) 推荐(0)

Hive 自定义UDF操作步骤

摘要：Hive 自定义UDF操作步骤需要自定义类，然后继承UDF 然后在方法envluate()方法里面实现具体的业务逻辑，打包上传到linux(以免出错打包成RunningJar) 一、创建临时函数（1）add jar /udf/xxx.jar （2）Create temporary functio 阅读全文

posted @ 2020-04-22 17:02 逆光飞翔- 阅读(534) 评论(0) 推荐(0)

hive之数据导入导出

摘要：hive数据导入导出一、导入数据4种方式建表语句 create table test( name string, friends array, children map<string, int>, address struct<street:string, city:string> ) row 阅读全文

posted @ 2020-04-22 17:00 逆光飞翔- 阅读(319) 评论(0) 推荐(0)

随笔分类 - Hive基础