报错：Tez Compression codec com.hadoop.compression.lzo.LzoCodec not found.
摘要：报错背景 安装完成Tez之后， 在hive-shell下执行：select count(*) from student; 报错。 报错现象 22/03/03 22:34:48 INFO client.DAGClientImpl: DAG: State: FAILED Progress: 0% Tot
阅读全文
posted @
2022-03-07 15:17
吹静静
阅读(454)
推荐(0) 编辑
Tez CDH5.16.4编译安装
摘要：环境准备 CentOS 7 apache-maven-3.6.3 hadoop-2.6.0-cdh5.16.2 protobuf-2.5.0 下载：https://github.com/protocolbuffers/protobuf/releases?after=v3.0.0-alpha-4.1
阅读全文
posted @
2022-03-07 11:41
吹静静
阅读(202)
推荐(0) 编辑
报错：hive tez return code 2 from org.apache.hadoop.hive.ql.exec.tez.TezTask
摘要：报错背景 安装完成tez之后，hive无法正常运行。 报错现象 Status: Running (Executing on YARN cluster with App id application_1645585960771_0004) VERTICES STATUS TOTAL COMPLETED
阅读全文
posted @
2022-02-28 16:49
吹静静
阅读(1256)
推荐(0) 编辑
LZO安装和使用
摘要：环境要求 java-1.8 maven-3.6.3 hadoop-2.x.x 下载安装包 [root@basecoalmine source]# cd /opt/source/ [root@basecoalmine source]# wget http://www.oberhumer.com/ope
阅读全文
posted @
2022-02-21 17:04
吹静静
阅读(804)
推荐(0) 编辑
报错：Exception thrown flushing changes to datastore
摘要：报错背景 hive创建数据库时添加中文备注信息报错。 命令：CREATE DATABASE IF NOT EXISTS hive_ods_db COMMENT 'Hive ODS层数据库'; 报错现象 FAILED: Execution Error, return code 1 from org.a
阅读全文
posted @
2022-02-18 10:50
吹静静
阅读(847)
推荐(0) 编辑
报错：ls: 无法访问/opt/app/spark/lib/spark-assembly-*.jar: 没有那个文件或目录
摘要：报错背景 hive-1.1.0-cdh5.16.2 spark-2.4.6-bin-hadoop2.6 启动hive时出现报错。 报错现象 启动hive：hive --service metastore & 报错信息：ls: 无法访问/opt/app/spark/lib/spark-assembly
阅读全文
posted @
2022-02-18 10:01
吹静静
阅读(718)
推荐(0) 编辑
Hive+HBase+Phoenix整合
摘要：效果介绍 数据插入Hive表可以在Phoenix对应表中查询到， 数据插入Phoenix表可以在Hive对应表中查询到。 安装软件 zookeeper-3.4.5-cdh5.16.2 hadoop-2.6.0-cdh5.16.2 hbase-1.2.0-cdh5.16.2 hive-1.1.0-cd
阅读全文
posted @
2022-02-08 15:26
吹静静
阅读(365)
推荐(0) 编辑
报错：Failed with exception java.io.IOException:java.lang.RuntimeException: Error in configuring object
摘要：报错背景 刚安装的hive，运行报错。 报错现象 报错原因 hadoop中lzo压缩配置的原因 报错解决 （1）临时解决 可以暂时将hadoop中配置文件core-site.xml中的lzo配置注释掉 <property> <name>io.compression.codecs</name> <va
阅读全文
posted @
2022-01-18 17:19
吹静静
阅读(721)
推荐(0) 编辑
Hive 是什么？场景？ vs RDBMS
摘要：1.Hive 是什么 是Facebook开源的，用于解决海量的结构化日志统计问题 Hive是构建在Hadoop之上的数据仓库， HDFS：Hive的业务数据是存放在HDFS上的（元数据存放在关系型数据库，例如：MySQL） YARN：Hive的作业是提交到YARN上面去运行的 MR ：Hive作业（
阅读全文
posted @
2021-02-08 14:03
吹静静
阅读(163)
推荐(0) 编辑
报错：MetaException(message:Version information not found in metastore. )
摘要：报错背景： CDH安装完成hive后启动失败。 报错现象： 报错原因： 报错解决： 修改 conf/hive-site.xml 中的 “hive.metastore.schema.verification” 改为 false
阅读全文
posted @
2019-05-08 15:25
吹静静
阅读(4852)
推荐(0) 编辑
报错：The specified datastore driver ("com.mysql.jdbc.Driver") was not found in the CLASSPATH. Please check your CLASSPATH specification, and the name of the driver.
摘要：报错背景： CDH中集成hive插件，启动报错。 报错现象： 报错原因： driver ("com.mysql.jdbc.Driver") was not found in the CLASSPATH 驱动出问题，找不到mysql驱动。 报错解决： 将jdbc驱动复制到/opt/cloudera/p
阅读全文
posted @
2019-05-08 15:07
吹静静
阅读(2211)
推荐(0) 编辑
报错：org.apache.hadoop.hive.metastore.HiveMetaException: Failed to get schema version.
摘要：报错环境： CDH中集成的hive服务，启动报错，所以初始化一下元数据。 配置文件：/etc/hive/conf hive-site.xml 命令目录：/opt/cloudera/parcels/CDH-5.15.1-1.cdh5.15.1.p0.4/lib/hive/bin 报错现象： 执行以下命
阅读全文
posted @
2019-04-02 16:07
吹静静
阅读(26162)
推荐(0) 编辑
Linux下的Mysql安装 & 配置
摘要：Hive的数据，是存在HDFS里的。此外，hive有哪些数据库，每个数据库有哪些表，这样的信息称之为hive的元数据信息。 元数据信息不存在HDFS里。而是存在关系型数据库里，hive默认用的是derby数据库来存储。即hive工作时，除了要依赖Hadoop，还要依赖关系型数据库。 注意：虽然我们能
阅读全文
posted @
2018-12-20 17:28
吹静静
阅读(1971)
推荐(0) 编辑
Hive 的基本概念
摘要：Hadoop开发存在的问题 只能用java语言开发，如果是c语言或其他语言的程序员用Hadoop，存在语言门槛。 需要对Hadoop底层原理，api比较了解才能做开发。 Hive概述 Hive是基于Hadoop的一个数据仓库工具。可以将结构化的数据文件映射为一张表，并提供完整的sql查询功能，可以将
阅读全文
posted @
2018-12-20 15:56
吹静静
阅读(752)
推荐(1) 编辑
管理
