报错：hive tez return code 2 from org.apache.hadoop.hive.ql.exec.tez.TezTask
摘要：报错背景 安装完成tez之后，hive无法正常运行。 报错现象 Status: Running (Executing on YARN cluster with App id application_1645585960771_0004) VERTICES STATUS TOTAL COMPLETED
阅读全文
posted @
2022-02-28 16:49
吹静静
阅读(1253)
推荐(0) 编辑
报错: Flume 找不到或无法加载主类 org.apache.flume.tools.GetJavaProperty
摘要：报错背景 Flume配置抽取任务时日志打印报错信息。 报错现象 错误: 找不到或无法加载主类 org.apache.flume.tools.GetJavaProperty 报错原因 原因不明 猜测：可能是和hbase的jar包或者环境变量发生了冲突。 报错解决 修改flume-ng文件110行，添加
阅读全文
posted @
2022-02-24 10:48
吹静静
阅读(826)
推荐(0) 编辑
Windows下python脚本开机自启动配置
摘要：鼠标右键点击“此电脑”，选择“管理” 重启电脑进行测试，重启后打开任务管理器查看进程启动情况。
阅读全文
posted @
2022-02-23 13:38
吹静静
阅读(369)
推荐(0) 编辑
LZO安装和使用
摘要：环境要求 java-1.8 maven-3.6.3 hadoop-2.x.x 下载安装包 [root@basecoalmine source]# cd /opt/source/ [root@basecoalmine source]# wget http://www.oberhumer.com/ope
阅读全文
posted @
2022-02-21 17:04
吹静静
阅读(804)
推荐(0) 编辑
报错：Exception thrown flushing changes to datastore
摘要：报错背景 hive创建数据库时添加中文备注信息报错。 命令：CREATE DATABASE IF NOT EXISTS hive_ods_db COMMENT 'Hive ODS层数据库'; 报错现象 FAILED: Execution Error, return code 1 from org.a
阅读全文
posted @
2022-02-18 10:50
吹静静
阅读(847)
推荐(0) 编辑
报错：ls: 无法访问/opt/app/spark/lib/spark-assembly-*.jar: 没有那个文件或目录
摘要：报错背景 hive-1.1.0-cdh5.16.2 spark-2.4.6-bin-hadoop2.6 启动hive时出现报错。 报错现象 启动hive：hive --service metastore & 报错信息：ls: 无法访问/opt/app/spark/lib/spark-assembly
阅读全文
posted @
2022-02-18 10:01
吹静静
阅读(718)
推荐(0) 编辑
报错：Kafka No kafka server to stop
摘要：报错背景 软件版本：kafka_2.11-2.2.1-kafka-4.1.0 新安装的Kafka启动之后，使用kafka-server-stop.sh命令无法正常关闭。 报错现象 报错原因 Kafka的关闭脚本有问题，找不到Kafka的进程号。 报错解决 原始Kafka关闭脚本：kafka-serv
阅读全文
posted @
2022-02-11 17:06
吹静静
阅读(478)
推荐(0) 编辑
报错：HBase is non empty': Directory is not empty
摘要：报错背景 启动HBase后发现log日志有报错。 报错现象 org.apache.hadoop.ipc.RemoteException(org.apache.hadoop.fs.PathIsNotEmptyDirectoryException): `/HBase-2/WALs/basecoalmin
阅读全文
posted @
2022-02-10 16:36
吹静静
阅读(539)
推荐(0) 编辑
Hive+HBase+Phoenix整合
摘要：效果介绍 数据插入Hive表可以在Phoenix对应表中查询到， 数据插入Phoenix表可以在Hive对应表中查询到。 安装软件 zookeeper-3.4.5-cdh5.16.2 hadoop-2.6.0-cdh5.16.2 hbase-1.2.0-cdh5.16.2 hive-1.1.0-cd
阅读全文
posted @
2022-02-08 15:26
吹静静
阅读(365)
推荐(0) 编辑
管理
