随笔分类 -  实时数仓报错日志分析

专注于对实时数仓各种报错日志信息的处理分析，希望能让广大伙伴少走一些弯路
hive出现MetaException(message:Metastore contains multiple versions (2)异常
摘要：1、使用Spark操作Hive表时发生的报错 2、错误日志 23/04/19 08:49:28 WARN metadata.Hive: Failed to access metastore. This class should not accessed in runtime. org.apache. 阅读全文
posted @ 2023-04-21 10:34 落魄的大数据转AI小哥 阅读(227) 评论(0) 推荐(0) 编辑
Hive元数据库在MySQL中的字符编码修改为UTF8解决中文乱码问题
摘要：一、问题浮现 二、问题定位 在初始化Hive元数据时，已经指定了连接mysql的字符集为UTF8，但还是出现了乱码问题。 jdbc:mysql://127.0.0.1:3306/hive_metastore?createDatabaseIfNotExist=true&useUnicode=t 阅读全文
posted @ 2023-02-10 10:50 落魄的大数据转AI小哥 阅读(803) 评论(0) 推荐(0) 编辑
Kafka磁盘满了导致Kafka挂掉问题处理
摘要：1、查看磁盘情况 df -h 2、从根目录查找哪个文件夹占用的磁盘最多 du -h --max-depth=1 / 我们发现/usr和/data目录占用最多，先进入/data目录查看 cd /data 查看/data目录下哪个文件夹占用磁盘多 du -sh * 发现/data/kafka占用比较多， 阅读全文
posted @ 2022-10-13 10:11 落魄的大数据转AI小哥 阅读(3441) 评论(1) 推荐(0) 编辑
Flink程序自定义MySQLSink出现客户端连接超时/失效异常
摘要：一、错误日志 2022-08-30 03:14:45 org.apache.flink.streaming.runtime.tasks.AsynchronousException: Caught exception while processing timer. at org.apache.flin 阅读全文
posted @ 2022-08-30 08:52 落魄的大数据转AI小哥 阅读(4299) 评论(2) 推荐(0) 编辑
Flink自定义MySQLSink批量写入出现死锁解决
摘要：一、错误日志 java.sql.BatchUpdateException: Deadlock found when trying to get lock; try restarting transaction at sun.reflect.NativeConstructorAccessorImpl. 阅读全文
posted @ 2022-08-29 11:29 落魄的大数据转AI小哥 阅读(1034) 评论(0) 推荐(0) 编辑
CDH出现3.0.0-cdh6.1.0-mr-framework.tar.gz不存在错误
摘要：一、错误日志 java.io.FileNotFoundException: File does not exist: hdfs://aaa/user/yarn/mapreduce/mr-framework/3.0.0-cdh6.1.0-mr-framework.tar.gz at org.apach 阅读全文
posted @ 2022-07-26 10:47 落魄的大数据转AI小哥 阅读(233) 评论(0) 推荐(0) 编辑
Atlas日志报Client session timed out, have not heard from server in 34640ms for sessionid 0xff821bd396610617
摘要：一、报错日志 2022-07-21 09:12:42,274 WARN - [main-SendThread(hadoop01:2181):] ~ Client session timed out, have not heard from server in 34640ms for sessioni 阅读全文
posted @ 2022-07-21 09:30 落魄的大数据转AI小哥 阅读(4120) 评论(0) 推荐(0) 编辑
HDFS出现坏块解决方案
摘要：一、查看坏块 hadoop fsck / 二、尝试使用修复命令修复 三、若无法修复，则将坏块删除 hadoop fsck -delete 坏块路径（HDFS上的文件路径） 参考地址：https://blog.csdn.net/LSB19930706/article/details/116641257 阅读全文
posted @ 2022-07-21 09:05 落魄的大数据转AI小哥 阅读(1551) 评论(0) 推荐(0) 编辑
HDFS的NameNode主备切换致使HBase集群挂掉
摘要：一、HDFS的NameNode主备切换致使HBase集群挂掉 1、解决 （1）查询CDH中的hdfs-site.xml配置文件，找到dfs.nameservices的值，此值为：namenodeserver（集群名称） （2）复制hdfs-site.xml配置文件至/opt/module/hbase 阅读全文
posted @ 2022-07-11 10:35 落魄的大数据转AI小哥 阅读(345) 评论(0) 推荐(0) 编辑
HBase出现Reported time is too far out of sync with master
摘要：一、错误日志 Server slave1.cdh,16020,1657157836878 has been rejected; Reported time is too far out of sync with master. Time difference of 73287ms > max all 阅读全文
posted @ 2022-07-07 10:27 落魄的大数据转AI小哥 阅读(263) 评论(0) 推荐(0) 编辑
Flume出现The server disconnected before a response was received错误
摘要：一、错误日志如下： 下午4点43:28.444分 ERROR KafkaSink Failed to publish events java.util.concurrent.ExecutionException: org.apache.kafka.common.errors.NetworkExcep 阅读全文
posted @ 2022-07-05 14:49 落魄的大数据转AI小哥 阅读(1528) 评论(0) 推荐(0) 编辑
Hive集成Atlas增量导入元数据失效问题
摘要：一、Hive客户端报错内容 22/06/08 11:49:04 WARN clients.NetworkClient: [Producer clientId=producer-1] Bootstrap broker xxx.xxx.xx.xxx:9092 (id: -1 rack: null) di 阅读全文
posted @ 2022-06-08 14:56 落魄的大数据转AI小哥 阅读(429) 评论(0) 推荐(0) 编辑
Hive客户端出现StackOverflowError错误
摘要：一、错误日志 Exception in thread "main" java.lang.StackOverflowError at org.apache.logging.log4j.core.Logger.isEnabled(Logger.java:156) at org.apache.loggin 阅读全文
posted @ 2022-06-08 10:04 落魄的大数据转AI小哥 阅读(268) 评论(0) 推荐(0) 编辑
Linux中运行Java程序，出现ERROR StatusLogger
摘要：一、错误内容 ERROR StatusLogger Unrecognized format specifier [d] ERROR StatusLogger Unrecognized conversion specifier [d] starting at position 16 in conver 阅读全文
posted @ 2022-06-02 10:49 落魄的大数据转AI小哥 阅读(1449) 评论(0) 推荐(1) 编辑
测试HBase2.1.0-cdh6.1.1意外挂掉对Atlas、HugeGraph的影响
摘要：一、测试Hbase有问题时对Atlas、HugeGraph的影响 1、使用hbase shell命令进入Hbase客户端 2、创建所有的命名空间，在命名空间下创建表 create_namespace 'bigdata' create 'bigdata:student','stu_info','stu 阅读全文
posted @ 2022-05-24 17:28 落魄的大数据转AI小哥 阅读(609) 评论(0) 推荐(0) 编辑
Atlas第一次导入Hive元数据日志报AtlasBaseException错误
摘要：一、错误日志 ERROR - [pool-2-thread-8 - e6c417fa-1215-440d-ad25-8e01fa989a64:] ~ graph rollback due to exception AtlasBaseException:Instance hive_table with 阅读全文
posted @ 2022-05-20 10:05 落魄的大数据转AI小哥 阅读(885) 评论(0) 推荐(0) 编辑
Hive客户端出现HiveHook错误
摘要：一、错误内容 hive.exec.post.hooks Class not found: org.apache.atlas.hive.hook.HiveHook FAILED: Hive Internal Error: java.lang.ClassNotFoundException(org.apa 阅读全文
posted @ 2022-05-20 09:46 落魄的大数据转AI小哥 阅读(1063) 评论(0) 推荐(0) 编辑
Idea运行Flink程序报命令行太长错误
摘要：一、报错内容如下： Error running 'DwdAtlasMetaFromKafkaToHiveApp': Command line is too long. Shorten command line for DwdAtlasMetaFromKafkaToHiveApp or also fo 阅读全文
posted @ 2022-05-07 14:16 落魄的大数据转AI小哥 阅读(138) 评论(0) 推荐(0) 编辑

点击右上角即可分享
微信分享提示