摘要: Flink On Yarn 的Classpath的传递过程分析。ClassNotFoundException: org.apache.hadoop.mapred.MRVersion 阅读全文
posted @ 2023-05-29 15:48 一杯半盏 阅读(687) 评论(0) 推荐(0)
摘要: 无法在不改变源码,不使用反射的前提下,修改/控制单独的 Apache HttpClient实例内的 DEBUG 日志是否打印。 只要使用了 Apache HttpClient,且开启了DEBUG日志,则所有使用 Apache HttpClient的上层框架都会打印。 阅读全文
posted @ 2025-07-03 10:43 一杯半盏 阅读(1) 评论(0) 推荐(0)
摘要: Linux 排查环境变量疑难问题 已解决:Error: Could not find or load main class org.apache.hadoop.fs.FsShell 阅读全文
posted @ 2025-06-30 18:24 一杯半盏 阅读(2) 评论(0) 推荐(0)
摘要: SpringBoot 3.x 内置 Log4j 2.x 不再兼容 Log4j 1.x,需要排除否则冲突 阅读全文
posted @ 2025-06-16 10:55 一杯半盏 阅读(44) 评论(0) 推荐(0)
摘要: CloudEvents Kafka 快速入门, 文章给定了CloudEvents的集成方法,Kafka生产者和消费者的完整样例,并进一步提供了容错方法 阅读全文
posted @ 2025-06-16 10:09 一杯半盏 阅读(2) 评论(0) 推荐(0)
摘要: 在升级Protobuf的过程中,踩了一系列的坑,记录如下。 阅读全文
posted @ 2025-03-18 11:23 一杯半盏 阅读(145) 评论(0) 推荐(0)
摘要: 问题 近期在做大数据查询引擎导出文件的功能,使用了 hive 的 beeline 客户端。发现 beeline 导出的文件以及终端输出有许多特殊字符。 按照官方文档使用 beeline 导出命令:[1] /usr/bin/beeline --silent=true --showHeader=true 阅读全文
posted @ 2025-01-12 23:06 一杯半盏 阅读(58) 评论(0) 推荐(0)
摘要: 基础设计 默认值:仅包含正常状态数据,例如账户:不包含离职账户的正常账户 即为 deletedData = false, wantsEnabled = true, wantsDisabled = false 场景举例: 场景一:正常的只展示正常的账户,则为默认的情况 场景二:只搜索不正常的已经删除的 阅读全文
posted @ 2024-12-13 16:41 一杯半盏 阅读(38) 评论(0) 推荐(0)
摘要: Flink系列二十四 Flink HistoryServer 实现原理 数据源头:Flink Runtime 对作业 ExecutionGraphInfo 进行归档 首先,作业停止或者故障时,调用 HistoryServerArchivist 进行归档 public interface Histor 阅读全文
posted @ 2024-11-13 17:57 一杯半盏 阅读(80) 评论(0) 推荐(0)
摘要: 本文记录这个问题是如何导致的,并记录如何向 Hive、Hudi 提供 hive-site.xml 以便正确加载,给 Flink 程序传入 HIVE_CONF_DIR,那么具体怎么做的,Flink的 CLASSPATH 已经提供了为何仍然加载不了 hive-site.xml 阅读全文
posted @ 2024-10-10 18:23 一杯半盏 阅读(90) 评论(0) 推荐(0)
摘要: 问题现象 Error : Could not find API definition for name "JDO". Perhaps you dont have the requisite datanucleus-api-XXX jar in the CLASSPATH? 2024-10-10 11 阅读全文
posted @ 2024-10-10 17:34 一杯半盏 阅读(130) 评论(0) 推荐(0)