随笔分类 -  Hive

Hive-排序方式
摘要:Hive-排序方式 order by 会对查询的结果做一次全局排序 所有的数据都会发送到同一个reducer进行处理,不管有多少map,也不管文件有多少block块,只会启动一个reducer,因为多个reducer无法保证全局有序 优点 全局有序 缺点 对大量数据进行排序耗时会比较长 sort b 阅读全文

posted @ 2020-12-27 20:21 嘣嘣嚓 阅读(155) 评论(0) 推荐(0) 编辑

Hive执行SQL步骤
摘要:Hive执行SQL步骤 执行查询 从Hive的CLI或WebUI发查询命令给驱动程序(任何JDBC、ODBC数据库驱动)执行 获得计划 驱动程序请求查询编辑器解析查询、检查语法、生成查询计划或者查询所需要的资源 获取元数据 编译器向元数据存储数据库发送元数据请求 发送元数据 作为响应,元数据存储数据 阅读全文

posted @ 2020-12-27 20:19 嘣嘣嚓 阅读(1022) 评论(0) 推荐(0) 编辑

Hive-分区、分桶
摘要:Hive-分区、分桶 分桶(bucket) 对某一列取哈希值,对桶的个数求模取余,根据余数决定该条记录进入哪一个桶 场景:小表关联大表时效果明显(Map Side Join),会把小表数据通过DistributedCache分发到各个Map Side,然后加载到内存和每一个Map任务处理的大表进行J 阅读全文

posted @ 2020-12-27 20:18 嘣嘣嚓 阅读(237) 评论(0) 推荐(0) 编辑

Hive-文件存储格式
摘要:Hive-文件格式 TEXTFILE 描述 TEXTFILE是普通的文本型文件,是Hadoop里最常用的输入输出格式,也是Hive的默认文件格式。 输入输出包 org.apache.hadoop.mapred.TextInputFormat org.apache.hadoop.mapred.Text 阅读全文

posted @ 2020-12-27 20:17 嘣嘣嚓 阅读(229) 评论(0) 推荐(0) 编辑

Hive-Container killed by YARN for exceeding memory limits. 9.2 GB of 9 GB physical memory used. Consider boosting spark.yarn.executor.memoryOverhead.
摘要:Hive on spark时报错 解决a.set spark.yarn.executor.memoryOverhead=512G 调大(权宜之计),excutor-momery + memoryOverhead不能大于集群内存b.该问题的原因是因为OS层面虚拟内存分配导致,物理内存没有占用多少,但检 阅读全文

posted @ 2019-05-30 17:32 嘣嘣嚓 阅读(962) 评论(0) 推荐(0) 编辑

Hive-多分隔符
摘要:ROW FORMAT SERDE 'org.apache.hadoop.hive.contrib.serde2.MultiDelimitSerDe' WITH SERDEPROPERTIES ("field.delim"="*#&&&&#*") 多分隔符的实现。 CREATE TABLE test_ 阅读全文

posted @ 2019-05-27 14:40 嘣嘣嚓 阅读(280) 评论(0) 推荐(0) 编辑

Hive-java.lang.ClassNotFoundException: org.apache.hadoop.hive.contrib.serde2.MultiDelimitSerDe
摘要:Task with the most failures(4): Task ID: task_1555476136794_8201_m_000000 URL: http://hadoop1:8088/taskdetails.jsp?jobid=job_1555476136794_8201&tipid= 阅读全文

posted @ 2019-05-27 14:40 嘣嘣嚓 阅读(3538) 评论(0) 推荐(0) 编辑

Hive-生成一个大文件(小文件合并)
摘要:set hive.execution.engine=mr; --在 map-reduce 作业结束时合并小文件。如启用,将创建 map-only 作业以合并目标表/分区中的文件。 set hive.merge.mapredfiles=true; set hive.merge.rcfile.block.level=true; --合并后所需的文件大小。应大于 h... 阅读全文

posted @ 2019-05-27 14:14 嘣嘣嚓 阅读(1488) 评论(0) 推荐(0) 编辑

Hive-开启动态分区
摘要:开启动态分区 阅读全文

posted @ 2019-03-26 20:17 嘣嘣嚓 阅读(455) 评论(0) 推荐(0) 编辑

Hive-行转列(explode)
摘要:场景:通过parseHtml UDF解析一串HTML,返回一以 @@ 分割的字符串,使用split分割字符串进数组中,然后将数组的元素转列。 开始的写法 --问题FAILED: SemanticException [Error 10081]: UDTF's are not supported out 阅读全文

posted @ 2019-03-26 19:55 嘣嘣嚓 阅读(3283) 评论(0) 推荐(0) 编辑

启动Hive时报错
摘要:报错信息如下 原因是没有添加mysql驱动包,把驱动包放在hive/lib下,重启即可。 阅读全文

posted @ 2017-08-29 23:30 嘣嘣嚓 阅读(432) 评论(0) 推荐(0) 编辑

Hive报错 Failed with exception java.io.IOException:java.lang.IllegalArgumentException: java.net.URISyntaxException: Relative path in absolute URI: ${system:user.name%7D
摘要:报错信息如下 解决方法: 编辑 hive-site.xml 文件,添加下边的属性 并修改属性 hive.exec.local.scratchdir 问题就可以解决了。 阅读全文

posted @ 2017-08-17 23:01 嘣嘣嚓 阅读(1234) 评论(0) 推荐(0) 编辑

hive启动时 Terminal initialization failed; falling back to unsupported java.lang.IncompatibleClassChangeError: Found class jline.Terminal, but interface was expected
摘要:错误提示信息如下 在hadoop/share/hadoop/yarn/lib下有jline-0.9.94.jar 这样一个jar包,为老版本,hive中的该jar包为新的,所以需要将hive下的jline jar包拷贝到hadoop下 将之前的版本备份 mv jline-0.9.94.jar jli 阅读全文

posted @ 2017-08-17 00:08 嘣嘣嚓 阅读(310) 评论(0) 推荐(0) 编辑

hive启动时报错 java.lang.IllegalArgumentException: java.net.URISyntaxException: Relative path in absolute URI: ${system:java.io.tmpdir%7D/$%7Bsystem:user.name%7D at org.apache.hadoop.fs.Path.initialize
摘要:错误提示信息如下 解决方法,进入hive-site.xml文件中,对以下内容进行修改,把临时路径更换 保存退出,再次启动,就ok了。 阅读全文

posted @ 2017-08-16 23:58 嘣嘣嚓 阅读(2390) 评论(0) 推荐(0) 编辑

Hive split分割后获取最后一段
摘要:如果只看解决方法,直接看最后。。。 今儿碰到了这么种情况,表中有一个字段,格式是这样的 是根据符号 '\' 隔开的,现在需要取每个的最后一段,先做个split,字段名称为TXTMD 此时获取到的是一个数组,如果字段为 a\b\c\d,那么得到的结果为 [a,b,c,d] 那么现在我们如何来拿到最后一 阅读全文

posted @ 2017-08-10 22:58 嘣嘣嚓 阅读(11174) 评论(0) 推荐(0) 编辑

Hive创建内部表、外部表
摘要:使用hive需要hive环境 启动Hive 进入HIVE_HOME/bin,启动hive 内部表 建表 创建完成后使用 show tables; 查看是否创建成功. hive> show tables; OK fz Time taken: 0.043 seconds, Fetched: 9 row( 阅读全文

posted @ 2017-06-06 13:56 嘣嘣嚓 阅读(57342) 评论(0) 推荐(3) 编辑

Mac下配置Hive环境
摘要:在配置Hive环境之前,需要Hadoop环境。 安装Hive 点击下载 下载结束后,会有一个.tar文件,使用以下命令解压该文件。 tar -zxvf 要解压的tar包 解压完成后如下 修改Hive配置文件 在hive安装目录下的conf中,将所有后缀为.template的文件复制一遍,新文件名称只 阅读全文

posted @ 2017-06-05 17:43 嘣嘣嚓 阅读(2435) 评论(0) 推荐(1) 编辑

导航

< 2025年2月 >
26 27 28 29 30 31 1
2 3 4 5 6 7 8
9 10 11 12 13 14 15
16 17 18 19 20 21 22
23 24 25 26 27 28 1
2 3 4 5 6 7 8
点击右上角即可分享
微信分享提示