2019年8月31日
Hive-ha （十三）
摘要： hive—high Avaliable ​ hive的搭建方式有三种，分别是 ​ 1、Local/Embedded Metastore Database (Derby) ​ 2、Remote Metastore Database ​ 3、Remote Metastore Server ​ 一般情况下 阅读全文
posted @ 2019-08-31 15:37 SteveYu 阅读(601) 评论(0) 推荐(0) 编辑
Hive压缩和存储（十二）
摘要： 压缩和存储 1、 Hadoop压缩配置 1) MR支持的压缩编码 | 压缩格式 | 工具 | 算法 | 文件扩展名 | 是否可切分 | | | | | | | | DEFAULT | 无 | DEFAULT | .deflate | 否 | | Gzip | gzip | DEFAULT | .gz 阅读全文
posted @ 2019-08-31 15:36 SteveYu 阅读(629) 评论(0) 推荐(1) 编辑
Hive优化（十一）
摘要： Hive优化 ​ Hive的存储层依托于HDFS，Hive的计算层依托于MapReduce，一般Hive的执行效率主要取决于SQL语句的执行效率，因此，Hive的优化的核心思想是MapReduce的优化。 1、查看Hive执行计划（小白慎用） ​ Hive的SQL语句在执行之前需要将SQL语句转换成 阅读全文
posted @ 2019-08-31 15:36 SteveYu 阅读(226) 评论(0) 推荐(0) 编辑
Hive权限管理（十）
摘要： Hive权限管理 1、hive授权模型介绍 （1）Storage Based Authorization in the Metastore Server 基于存储的授权 可以对Metastore中的元数据进行保护，但是没有提供更加细粒度的访问控制（例如：列级别、行级别）。 （2）SQL Standa 阅读全文
posted @ 2019-08-31 15:35 SteveYu 阅读(2016) 评论(0) 推荐(0) 编辑
Hive动态分区和分桶（八）
摘要： Hive动态分区和分桶 1、Hive动态分区 1、hive的动态分区介绍 ​ hive的静态分区需要用户在插入数据的时候必须手动指定hive的分区字段值，但是这样的话会导致用户的操作复杂度提高，而且在使用的时候会导致数据只能插入到某一个指定分区，无法让数据散列分布，因此更好的方式是当数据在进行插入的 阅读全文
posted @ 2019-08-31 15:34 SteveYu 阅读(929) 评论(0) 推荐(0) 编辑
Hive的视图和索引（九）
摘要： Hive的视图和索引 1、Hive Lateral View 1、基本介绍 ​ Lateral View用于和UDTF函数（explode、split）结合来使用。 ​ 首先通过UDTF函数拆分成多行，再将多行结果组合成一个支持别名的虚拟表。主要解决在select使用UDTF做查询过程中，查询只能包 阅读全文
posted @ 2019-08-31 15:34 SteveYu 阅读(421) 评论(0) 推荐(0) 编辑
Hive（七）Hive参数操作和运行方式
摘要： Hive参数操作和运行方式 1、Hive参数操作 1、hive参数介绍 ​ hive当中的参数、变量都是以命名空间开头的，详情如下表所示： | 命名空间 | 读写权限 | 含义 | | | | | | hiveconf | 可读写 | hive site.xml当中的各配置变量例：hive hive 阅读全文
posted @ 2019-08-31 15:33 SteveYu 阅读(1663) 评论(0) 推荐(0) 编辑
Redis 基础
摘要： 基本类型 安装 按照README的安装步骤进行 架构原理 redis单进程，单线程，并发很多的请求，如何变得很快的呢？？ 当我们使用多个redis-cli进行连接的时候，我们首先对通过redis-cli连接到了linux kernel，linux kernel自带一个epoll的调用，我们在使用re 阅读全文
posted @ 2019-08-31 01:24 SteveYu 阅读(218) 评论(0) 推荐(0) 编辑