2022年2月10日
摘要：
hive远程元数据服务模式安装： 1、选择两台虚拟机，node03作为服务端，node04作为客户端 2、分别在Node03和node04上解压hive的安装包，或者在从node02上远程拷贝hive的安装包到Node03和node04 3、node03修改hive-site.xml配置： <pro 阅读全文
摘要：
linux切换yum源 1、需要提前安装wget命令 yum install wget -y 2、切换到yum的安装目录 /etc/yum.repos.d/ 3、将所有的已经存在的文件添加备份 1、给文件该名称添加.bak 2、创建backup目录，将所有的文件移动进去 4、打开镜像网站 ht 阅读全文
摘要：
Hive远程数据库模式安装 安装hive的步骤： 1、解压安装 2、修改环境变量 vi /etc/profile export HIVE_HOME=/opt/bigdata/hive-2.3.4 将bin目录添加到PATH路径中 3、修改配置文件，进入到/opt/bigdata/hive-2.3.4 阅读全文
摘要：
hive—high Avaliable hive的搭建方式有三种，分别是 1、Local/Embedded Metastore Database (Derby) 2、Remote Metastore Database 3、Remote Metastore Server 一般情况下 阅读全文
摘要：
压缩和存储 1、 Hadoop压缩配置 1) MR支持的压缩编码 压缩格式工具算法文件扩展名是否可切分 DEFAULT 无 DEFAULT .deflate 否 Gzip gzip DEFAULT .gz 否 bzip2 bzip2 bzip2 .bz2 是 LZO lzop LZO .lzo 否 阅读全文
摘要：
Hive优化 Hive的存储层依托于HDFS，Hive的计算层依托于MapReduce，一般Hive的执行效率主要取决于SQL语句的执行效率，因此，Hive的优化的核心思想是MapReduce的优化。 1、查看Hive执行计划（小白慎用） Hive的SQL语句在执行之前需要将SQL语句转换成 阅读全文
摘要：
Hive权限管理 1、hive授权模型介绍 （1）Storage Based Authorization in the Metastore Server 基于存储的授权 - 可以对Metastore中的元数据进行保护，但是没有提供更加细粒度的访问控制（例如：列级别、行级别）。 （2）SQL Stan 阅读全文
摘要：
Hive的视图和索引 1、Hive Lateral View 1、基本介绍 Lateral View用于和UDTF函数（explode、split）结合来使用。 首先通过UDTF函数拆分成多行，再将多行结果组合成一个支持别名的虚拟表。主要解决在select使用UDTF做查询过程中，查询只能包含 阅读全文
摘要：
Hive动态分区和分桶 1、Hive动态分区 1、hive的动态分区介绍 hive的静态分区需要用户在插入数据的时候必须手动指定hive的分区字段值，但是这样的话会导致用户的操作复杂度提高，而且在使用的时候会导致数据只能插入到某一个指定分区，无法让数据散列分布，因此更好的方式是当数据在进行插入的 阅读全文
摘要：
Hive参数操作和运行方式 1、Hive参数操作 1、hive参数介绍 hive当中的参数、变量都是以命名空间开头的，详情如下表所示： 命名空间读写权限含义 hiveconf 可读写 hive-site.xml当中的各配置变量例：hive --hiveconf hive.cli.print.he 阅读全文
