08 2022 档案
摘要:
一个可以快速安装和管理多K8S集群强大工具Rancher,虽然也有其他如Openshift、Kubesphere、Sealos,还是强烈推荐生产环境直接选用Rancher,本篇从部署Rancher本身开始,一步步基于Rancher搭建一个新的K8S集群的详细操作步骤和常见功能介绍,最后部署一个Deployment的Nginx应用和动态扩缩容的演示示例。
阅读全文

摘要:
有Sqoop和DataX之类数据处理为何还要用Apache SeaTunnel,这就要得益于Apache SeaTunnel依赖Flink和Spark天然分布式处理数据的特性,前两者是单机同步数据不适于海量数据同步,以低代码方式用配置文件就可以启动Flink数据处理应用,本篇从基本概念和原理入手,并通过部署SeaTunnel演示了多个基于Flink的Source和Sink配置,基本掌握如何编写配置使用。
阅读全文

摘要:
全篇通过依赖Hadoopz最新版本3.3.4部署Flink最新版本1.15.1的实战操作,针对Standalone 单机部署、Standalone 集群部署、Standalone 单机部署 HA部署的操作步骤结合演示示例深入理解Flink的丰富安装模式,全篇重点在针对生产Flink On Yarn模式,以Flink On Yarn从部署原理、流程和示例完整操作流程说明的角度分别演示会话(Session)模式、单作业(Per-Job)模式、应用(Application)模式形成深刻的理解。
阅读全文

摘要:
基于JDK11的Flink最新版本v15.1,以官网最新文档入手,从为何选择使用Flink为引导线,介绍实时数仓的演变历程,对比Flink和Spark的差异和竞争力。进一步剖析其系统架构、通过无界和有界数据理解,加深对流式分析的认识,了解三大运行模式适用场景,最后理解作业提交完整流程,为下一篇Flink部署和任务提交奠定基础
阅读全文

摘要:
本篇从Hadoop发行版本历史开始,延伸至其生态说明,了解总体组成部分和架构,通过实战部署最新版本3.3.4实现3个节点集群,并配置NameNode和ResourceManager的HA,最后测试完成HDFS文件读写和Yarn任务资源调度。...
阅读全文

摘要:
随着容器化成熟,Prometheus+grafana作为主流监控报警系统越来越被企业所青睐;本篇了解Prometheus的特性,熟悉其架构和组成部分,对其常见概念进行简单说明,其简易部署使得其更稳定更高效,通过docker和二进制两种部署方式搭建Prometheus server,熟悉其控制台常见功能;穿插了监控基础理论,部署Prometheus的两种数据采集exporter和pushgateway,并通过相应采集示例演示,通过一个对CPU监控采集和图形展示的示例了解到Prometheus强大数学支持,最后通过部署grafana实现一个抓取TCP waiting_connection美观的可视化展示。
阅读全文

摘要:
本篇为生产使用的MinIO配置Nginx代理,实战操作如何创建MinIO的用户和安全认证,通过配置MinIO的server信息开始,实操MC客户端常见的命令操作实现浏览桶、创建删除桶、文件上传下载等,最后通过编程SDK使用需求出发,通过Java客户端的实现文件上传下载的示例,最后以MinIO整合SpringBoot启动器的方式实现MinIO常见API的编程开发
阅读全文

摘要:
本篇先了解一个以快著称的云原生对象存储系统,上传下载对象速度只限制于网络带宽,体会强大又极简主义的设计,从MinIO特性和架构设计思想,熟悉其常见应用场景;实战MinIO的快速部署,最后以一个可用生产系统的4个节点每个节点4块磁盘的分布式高可用部署并体验了文件上传和下载的速度。
阅读全文

摘要:
本篇介绍新一代分布式任务工作流调度Apache DolphinScheduler总体架构和设计思想,使用shell工作流演示参数的使用、传递及其优先级,通过数据源管理演示ClickHouse SQL任务类型的工作流使用步骤,最后通过一个邮件告警示例使用DolphinScheduler更加放心...
阅读全文
