随笔分类 - [Bigdata Platform]
摘要:Flink CDC同步MySQL分库分表数据到Iceberg数据湖实践
阅读全文
摘要:本文主要针对日志数据接入数据仓库场景进行设计, 同时介绍了下在设计接入时的一些细节,针对可能出现的问题进行必要的处理.
阅读全文
摘要:本文主要根据平台用户平常提交的spark任务思考,调研引入Dr. Elephant, 通过阅读Dr 相关源码, 明白Dr 执行整体流程并对代码进行改造,适配我们的需求.最终转变为平台产品来对用户的Spark任务进行诊断并给出相关调优建议.
阅读全文
摘要:本文主要介绍如何基于log4j appender自定义扩展实现大数据平台任务日志采集.
阅读全文
摘要:本文主要介绍HBase平台的建设思路及设计, 并对跨集群数据迁移实践进行总结
阅读全文