Hive - 随笔分类 - 吹静静

报错：Tez Compression codec com.hadoop.compression.lzo.LzoCodec not found.

摘要：报错背景安装完成Tez之后，在hive-shell下执行：select count(*) from student; 报错。报错现象 22/03/03 22:34:48 INFO client.DAGClientImpl: DAG: State: FAILED Progress: 0% Tot 阅读全文

posted @ 2022-03-07 15:17 吹静静阅读(454) 评论(0) 推荐(0) 编辑

Tez CDH5.16.4编译安装

摘要：环境准备 CentOS 7 apache-maven-3.6.3 hadoop-2.6.0-cdh5.16.2 protobuf-2.5.0 下载：https://github.com/protocolbuffers/protobuf/releases?after=v3.0.0-alpha-4.1 阅读全文

posted @ 2022-03-07 11:41 吹静静阅读(200) 评论(0) 推荐(0) 编辑

报错：hive tez return code 2 from org.apache.hadoop.hive.ql.exec.tez.TezTask

摘要：报错背景安装完成tez之后，hive无法正常运行。报错现象 Status: Running (Executing on YARN cluster with App id application_1645585960771_0004) VERTICES STATUS TOTAL COMPLETED 阅读全文

posted @ 2022-02-28 16:49 吹静静阅读(1253) 评论(0) 推荐(0) 编辑

LZO安装和使用

摘要：环境要求 java-1.8 maven-3.6.3 hadoop-2.x.x 下载安装包 [root@basecoalmine source]# cd /opt/source/ [root@basecoalmine source]# wget http://www.oberhumer.com/ope 阅读全文

posted @ 2022-02-21 17:04 吹静静阅读(804) 评论(0) 推荐(0) 编辑

报错：Exception thrown flushing changes to datastore

摘要：报错背景 hive创建数据库时添加中文备注信息报错。命令：CREATE DATABASE IF NOT EXISTS hive_ods_db COMMENT 'Hive ODS层数据库'; 报错现象 FAILED: Execution Error, return code 1 from org.a 阅读全文

posted @ 2022-02-18 10:50 吹静静阅读(847) 评论(0) 推荐(0) 编辑

报错：ls: 无法访问/opt/app/spark/lib/spark-assembly-*.jar: 没有那个文件或目录

摘要：报错背景 hive-1.1.0-cdh5.16.2 spark-2.4.6-bin-hadoop2.6 启动hive时出现报错。报错现象启动hive：hive --service metastore & 报错信息：ls: 无法访问/opt/app/spark/lib/spark-assembly 阅读全文

posted @ 2022-02-18 10:01 吹静静阅读(718) 评论(0) 推荐(0) 编辑

Hive+HBase+Phoenix整合

摘要：效果介绍数据插入Hive表可以在Phoenix对应表中查询到，数据插入Phoenix表可以在Hive对应表中查询到。安装软件 zookeeper-3.4.5-cdh5.16.2 hadoop-2.6.0-cdh5.16.2 hbase-1.2.0-cdh5.16.2 hive-1.1.0-cd 阅读全文

posted @ 2022-02-08 15:26 吹静静阅读(365) 评论(0) 推荐(0) 编辑

报错：Failed with exception java.io.IOException:java.lang.RuntimeException: Error in configuring object

摘要：报错背景刚安装的hive，运行报错。报错现象报错原因 hadoop中lzo压缩配置的原因报错解决（1）临时解决可以暂时将hadoop中配置文件core-site.xml中的lzo配置注释掉 <property> <name>io.compression.codecs</name> <va 阅读全文

posted @ 2022-01-18 17:19 吹静静阅读(721) 评论(0) 推荐(0) 编辑

Hive 是什么？场景？ vs RDBMS

摘要：1.Hive 是什么是Facebook开源的，用于解决海量的结构化日志统计问题 Hive是构建在Hadoop之上的数据仓库， HDFS：Hive的业务数据是存放在HDFS上的（元数据存放在关系型数据库，例如：MySQL） YARN：Hive的作业是提交到YARN上面去运行的 MR ：Hive作业（阅读全文

posted @ 2021-02-08 14:03 吹静静阅读(163) 评论(0) 推荐(0) 编辑

报错：MetaException(message:Version information not found in metastore. )

摘要：报错背景： CDH安装完成hive后启动失败。报错现象：报错原因：报错解决：修改 conf/hive-site.xml 中的 “hive.metastore.schema.verification” 改为 false 阅读全文

posted @ 2019-05-08 15:25 吹静静阅读(4849) 评论(0) 推荐(0) 编辑

报错：The specified datastore driver ("com.mysql.jdbc.Driver") was not found in the CLASSPATH. Please check your CLASSPATH specification, and the name of the driver.

摘要：报错背景： CDH中集成hive插件，启动报错。报错现象：报错原因： driver ("com.mysql.jdbc.Driver") was not found in the CLASSPATH 驱动出问题，找不到mysql驱动。报错解决：将jdbc驱动复制到/opt/cloudera/p 阅读全文

posted @ 2019-05-08 15:07 吹静静阅读(2211) 评论(0) 推荐(0) 编辑

报错：org.apache.hadoop.hive.metastore.HiveMetaException: Failed to get schema version.

摘要：报错环境： CDH中集成的hive服务，启动报错，所以初始化一下元数据。配置文件：/etc/hive/conf hive-site.xml 命令目录：/opt/cloudera/parcels/CDH-5.15.1-1.cdh5.15.1.p0.4/lib/hive/bin 报错现象：执行以下命阅读全文

posted @ 2019-04-02 16:07 吹静静阅读(26156) 评论(8) 推荐(0) 编辑

Linux下的Mysql安装 & 配置

摘要：Hive的数据，是存在HDFS里的。此外，hive有哪些数据库，每个数据库有哪些表，这样的信息称之为hive的元数据信息。元数据信息不存在HDFS里。而是存在关系型数据库里，hive默认用的是derby数据库来存储。即hive工作时，除了要依赖Hadoop，还要依赖关系型数据库。注意：虽然我们能阅读全文

posted @ 2018-12-20 17:28 吹静静阅读(1971) 评论(0) 推荐(0) 编辑

Hive 的基本概念

摘要：Hadoop开发存在的问题只能用java语言开发，如果是c语言或其他语言的程序员用Hadoop，存在语言门槛。需要对Hadoop底层原理，api比较了解才能做开发。 Hive概述 Hive是基于Hadoop的一个数据仓库工具。可以将结构化的数据文件映射为一张表，并提供完整的sql查询功能，可以将阅读全文

posted @ 2018-12-20 15:56 吹静静阅读(752) 评论(0) 推荐(1) 编辑

吹静静

欢迎QQ交流：592590682

随笔分类 - Hive