05 2019 档案

Hive-Container killed by YARN for exceeding memory limits. 9.2 GB of 9 GB physical memory used. Consider boosting spark.yarn.executor.memoryOverhead.
摘要:Hive on spark时报错 解决a.set spark.yarn.executor.memoryOverhead=512G 调大(权宜之计),excutor-momery + memoryOverhead不能大于集群内存b.该问题的原因是因为OS层面虚拟内存分配导致,物理内存没有占用多少,但检 阅读全文

posted @ 2019-05-30 17:32 嘣嘣嚓 阅读(962) 评论(0) 推荐(0) 编辑

Elasticsearch-安装、日志解读
摘要:ES-安装、日志解读 1. 准备tar包 https://www.elastic.co/cn/products/elasticsearch2. 解压 3. 启动 启动日志如下 4.日志解读: (1)第一行提供了启动节点的统计信息 默认情况下,ES为节点随机分配一个名字,可以在配置中修改。此处我修改为 阅读全文

posted @ 2019-05-28 22:37 嘣嘣嚓 阅读(448) 评论(0) 推荐(0) 编辑

Sqoop-MySQL导入hive时id为文本解决
摘要:错误如下 解决 修改命令如下 阅读全文

posted @ 2019-05-27 15:37 嘣嘣嚓 阅读(567) 评论(0) 推荐(0) 编辑

Hive-多分隔符
摘要:ROW FORMAT SERDE 'org.apache.hadoop.hive.contrib.serde2.MultiDelimitSerDe' WITH SERDEPROPERTIES ("field.delim"="*#&&&&#*") 多分隔符的实现。 CREATE TABLE test_ 阅读全文

posted @ 2019-05-27 14:40 嘣嘣嚓 阅读(279) 评论(0) 推荐(0) 编辑

Hive-java.lang.ClassNotFoundException: org.apache.hadoop.hive.contrib.serde2.MultiDelimitSerDe
摘要:Task with the most failures(4): Task ID: task_1555476136794_8201_m_000000 URL: http://hadoop1:8088/taskdetails.jsp?jobid=job_1555476136794_8201&tipid= 阅读全文

posted @ 2019-05-27 14:40 嘣嘣嚓 阅读(3538) 评论(0) 推荐(0) 编辑

Hive-生成一个大文件(小文件合并)
摘要:set hive.execution.engine=mr; --在 map-reduce 作业结束时合并小文件。如启用,将创建 map-only 作业以合并目标表/分区中的文件。 set hive.merge.mapredfiles=true; set hive.merge.rcfile.block.level=true; --合并后所需的文件大小。应大于 h... 阅读全文

posted @ 2019-05-27 14:14 嘣嘣嚓 阅读(1488) 评论(0) 推荐(0) 编辑

数据仓库-数据仓库的简介(由来、与关系数据库的区别、数据仓库模型)
摘要:数据仓库的基本概念 数据仓库泛化、合并多维空间的数据。构造数据仓库涉及数据清理、数据集成和数据变换,可以看做数据挖掘的一个重要预处理步骤。此外,数据仓库提供联机分析处理(OLAP)工具,用于各种粒度的多维数据的交互分析,有利于有效的数据泛化和数据挖掘。 1.什么是数据仓库 数据仓库的建立为工商企业主 阅读全文

posted @ 2019-05-06 22:41 嘣嘣嚓 阅读(851) 评论(0) 推荐(0) 编辑

导航

< 2025年2月 >
26 27 28 29 30 31 1
2 3 4 5 6 7 8
9 10 11 12 13 14 15
16 17 18 19 20 21 22
23 24 25 26 27 28 1
2 3 4 5 6 7 8
点击右上角即可分享
微信分享提示