随笔分类 -  [Bigdata Platform]

摘要:Flink CDC同步MySQL分库分表数据到Iceberg数据湖实践 阅读全文
posted @ 2022-04-25 22:05 chaplinthink 阅读(2465) 评论(0) 推荐(0) 编辑
摘要:本文主要针对日志数据接入数据仓库场景进行设计, 同时介绍了下在设计接入时的一些细节,针对可能出现的问题进行必要的处理. 阅读全文
posted @ 2022-01-05 23:57 chaplinthink 阅读(248) 评论(0) 推荐(0) 编辑
摘要:本文主要根据平台用户平常提交的spark任务思考,调研引入Dr. Elephant, 通过阅读Dr 相关源码, 明白Dr 执行整体流程并对代码进行改造,适配我们的需求.最终转变为平台产品来对用户的Spark任务进行诊断并给出相关调优建议. 阅读全文
posted @ 2021-12-31 22:19 chaplinthink 阅读(541) 评论(0) 推荐(0) 编辑
摘要:本文主要介绍如何基于log4j appender自定义扩展实现大数据平台任务日志采集. 阅读全文
posted @ 2021-12-30 00:07 chaplinthink 阅读(814) 评论(0) 推荐(0) 编辑
摘要:本文主要介绍HBase平台的建设思路及设计, 并对跨集群数据迁移实践进行总结 阅读全文
posted @ 2021-12-27 21:37 chaplinthink 阅读(357) 评论(0) 推荐(0) 编辑

点击右上角即可分享
微信分享提示