随笔分类 - Hive基础
Hive分区/分桶
摘要：# 分区 hive的分区的是针对于数据库的分区,将原来的数据(有规律的数据)分为多个区域,数据和表的信息是不会有变化的,但是会增加namenode的压力 分区的目的是提升查询效率,将原来的文件进行多层次的管理 分区有三种,静态分区,动态分区,混合分区 关键字:**partitioned by(字段)
阅读全文
Hive之命令
摘要：Hive之命令 说明：此博客只记录了一些常见的hql，create/select/insert/update/delete这些基础操作是没有记录的。 一、时间级 select day -- 时间 ,date_add(day,1 - dayofweek(day)) as week_first_day
阅读全文
Hive之权限控制
摘要：Hive之权限 一、库级的权限 -- 授予所有权限给某个用户 grant all on msta to user {userName}; -- 授权admin privilege权限 grant ADMIN PRIVILEGE on database {dbName} to user {userNa
阅读全文
Hive之安装
摘要：# Hive安装 ## 一、安装Hadoop ```shell # hive依赖Hadoop，所以需要安装Hadoop # Hadoop安装手册详见链接:https://www.cnblogs.com/botaoli/p/17565965.html # 执行程序运行在yarn上面，需要启动start
阅读全文
批量查询hive库中所有表的count
摘要：一、准备文件 mkdir /query_hive_table_count touch query_db_name_table touch query_table_result.txt 二、编辑文件 2.1 编辑query_table_result.txt，添加以下内容 table_name ....
阅读全文
Hive Beeline 命令行参数
摘要：[hadoop@hive ~]$ beeline --help【中文版】 The Beeline CLI 支持以下命令行参数: Option Description --autoCommit=[true/false] 进入一个自动提交模式：beeline --autoCommit=true --au
阅读全文
Hive 自定义UDF操作步骤
摘要：Hive 自定义UDF操作步骤 需要自定义类，然后继承UDF 然后在方法envluate()方法里面实现具体的业务逻辑，打包上传到linux(以免出错打包成RunningJar) 一、创建临时函数 （1）add jar /udf/xxx.jar （2）Create temporary functio
阅读全文
hive之数据导入导出
摘要：hive数据导入导出 一、导入数据4种方式 建表语句 create table test( name string, friends array, children map<string, int>, address struct<street:string, city:string> ) row
阅读全文
