11 2022 档案
摘要:
本篇演示了Hudi集成Spark的Scala编程示例,并一步步操作说明如何使用DeltaStreamer从Kafka里读取数据写入到Hudi表的HDFS中,接着集成Flink的环境准备,通过基于yarn-session的Flink的sql-client方式提交任务实现插入数据和流式读取数据,了解字节贡献的Bucket索引和Hudi Catalog。
阅读全文

摘要:
本篇详细描述hoodie数据读写流程,进一步加深对数据湖技术的理解。理论后转战集成Spark的使用,通过spark-shell和spark-sql实现hoodie的插入数据、查询数据、更新数据、删除数据、覆盖数据、时间旅行查询等示例,了解创建表、修改表结构、查询分区、删除分区基本用法,为进一步使用奠定基础。
阅读全文

摘要:
湖仓一体时代来临解决大数据企业发展过程Lambada、Kappa架构的诸多痛点,三大数据湖技术Iceberg、Hudi、Delta Lake发展迅速,本篇则以学习功能较为齐全Hudi 数据湖入手,了解其特性和使用场景,一步步操作编译安装Hudi最新版本0.12.1,并初步了解时间轴、文件布局、索引、表类型、查询类型核心概念。
阅读全文

摘要:
通过上一篇对Zabbix基础和原理有一定理解,本篇则着重从多个实战示例一步步演示如何使用,可直接用于生产环境使用,内容覆盖源码安装、Zabbix Agent2部署、分布式架构Zabbix Proxy的使用、自定义监控、触发器、图形、模板、snmp监控、自动发现、主动注册、JMX监控等完整示例。
阅读全文

摘要:
前面研究过最主流的容器化监控Prometheus,今天再来聊聊善于监控网络、物理机、虚拟机等的老牌成熟开源监控方案Zabbix(6.2)及其总体架构,并与小米开源Open-falcon做对比分析;企业如何正确选择其版本,最后快速部署Zabbix并实现一个Agent主机的入门示例。
阅读全文
