12 2020 档案

continue 解读HIVE SQL 执行计划
摘要：背景 若干SQL执行在HIVE上，需要查看特定的执行计划，理解内部的运行机制，笔者以现有的背景做为理解案例： 案例 1 hive> explain 2 > select count(1) from ( 3 > select s_age 4 > from student_tb_txt 5 > grou 阅读全文
posted @ 2020-12-14 22:07 lenomail 阅读(141) 评论(0) 推荐(0)
Waiting Hive SQL
摘要：rt 阅读全文
posted @ 2020-12-14 21:28 lenomail 阅读(43) 评论(0) 推荐(0)
Hive 调优-存储篇
摘要：环境： Hadoop 3.1.3 Hive:hive-3.1.2 环境准备： 1 hive> set hive.merge.mapfiles=true; 2 hive> set hive.merge.orcfile.stripe.level=true; 3 hive> set hive.merge. 阅读全文
posted @ 2020-12-06 21:43 lenomail 阅读(92) 评论(0) 推荐(0)
Hive 调优-SQL篇
摘要：环境： Hadoop 3.1.3 Hive:hive-3.1.2 1. 用MULTI-TABLE-INSERT代替UNION 1 insert into table student_stat partition(tp) 2 select s_age,max(s_birth) stat, 'max' 阅读全文
posted @ 2020-12-06 16:34 lenomail 阅读(287) 评论(0) 推荐(0)
Hive 调优代码准备
摘要：1 # coding: utf-8 2 import random 3 import datetime 4 import sys 5 from imp import reload 6 7 reload(sys) 8 # lastname和first都是为了来随机构造名称 9 lastname = u 阅读全文
posted @ 2020-12-05 21:32 lenomail 阅读(82) 评论(0) 推荐(0)
Hive 架构
摘要：一、Hive 架构 下面是Hive的架构图 Hive的体系结构可以分为以下几部分： 1、用户接口主要有三个：CLI，Client 和 WUI。其中最常用的是CLI，Cli启动的时候，会同时启动一个Hive副本。Client是Hive的客户端，用户连接至Hive Server。 在启动 Client模 阅读全文
posted @ 2020-12-04 13:50 lenomail 阅读(876) 评论(0) 推荐(0)
Hive工作原理
摘要：一、Hive 工作原理 Hive 工作原理如下图所示。 Hive构建在Hadoop之上 1、HQL中对查询语句的解释、优化、生成查询计划是由Hive完成的 2、所有的数据都是存储在Hadoop中 3、查询计划被转化为MapReduce任务，在Hadoop中执行（有些查询没有MR任务，如：select 阅读全文
posted @ 2020-12-04 13:42 lenomail 阅读(1026) 评论(0) 推荐(0)