摘要：
在从离线到实时化发展的过程中，大数据领域出现了很多优秀的系统以应对各种不同的分析和查询场景。 1.比如我们可以将实时的数据归档到像Hive这样的离线数仓里进行数据的离线处理后再将聚合后的小规模数据导出到mysql进行后续的报表查询或者数据访问; 2.也有将数据经过flink流计算引擎进行前置的实时处 阅读全文
摘要：
Flink端到端的一致性 - source端（kafka consumer） 偏移量保存下来， 如果后续任务出现了故障，恢复的时候可以由连接器重置偏移量，重新 消费数据，保证一致性。 - 内部 (checkpoint 机制) • 基于 Chandy-Lamport 算法的分布式快照算法• 将检查点的 阅读全文
摘要：
作者：关涛、李睿博、孙莉莉、张良模、贾扬清 （from 阿里云智能计算平台) 黄波、金玉梅、于茜、刘子正 （from 新浪微博机器学习研发部) 近几年，随着数据湖概念的兴起，业界对于数据仓库和数据湖的对比甚至争论始终不断。数据仓库和数据湖的区别到底是什么？本文作者来自阿里巴巴计算平台部门，在深度参与 阅读全文
摘要：
- k8s界面使用kuboard - 部署使用1主1备1哨兵 - 使用思路为master节点部署后，slave节点使用master的serviceip与master节点进行互通，哨兵进程与master、slave使用service ip互通 - 参考链接 [bitnami/redis-sentine 阅读全文
摘要：
前言 又是一年乍暖还寒，春天的风迎面而来，凉意中夹杂着些许温暖。哦，你知道，是春天来了。就像那年的实习期，在挥手告别的毕业季，定格在了那年的七月。 人会怀念，怀念青涩时期的自己，懵懵懂懂却又充满着努力。人会想念，想念每天朝夕相处的人，有一天会在转角挥手告别。人会改变，改变了不善言辞的自己，终游荡于人 阅读全文
摘要：
DolphinScheduler+DataX或Chunjun 解决离线大数据任务与实时大数据任务的快速开发，部署，调度。 当然依赖于底层spark，flink，hive，hdfs等大数据基础设施，在CPU，内存等资源充足的情况下，不需要大数据运维和调优。数据量起来之后会有各种问题，要求就更深入了。 阅读全文
摘要：
原来使用kafka消费者直接进行mysql数据同步，现在发现当时只考虑了数据的同步，对于后续数据的存储和使用没有考虑全面。面对大量流式数据，面向的是应用，数据同步之后，数据如何存储，如何计算是更大的问题，不只是数据本身。但是当时同步数据确实遇到了事务问题，通过加锁实现了简单的事务。Hudi本身支持A 阅读全文
摘要：
k8s基本概念 CNI网络插件 Flannel k8s常用命令 apply 与 replace 的区别 将文件复制到容器或从容器中复制出来 kubectl命令操作pod 查看容器日志 操作标签(labels) kubectl命令操作deployments kubectl命令操作容器 资源服务 Nam 阅读全文
摘要：
一、集群分类 一主多从：一台master 多个多个Node节点 多主多从：多个master多个node节点 二、安装方式 minikube:快速安装搭建单节点k8s工具 kubeadm:快速搭建k8s集群的工具 主要使用的方式 二进制包安装：从官网下载每个组件的二进制包进行安装 三、安装规划 192 阅读全文