11 2022 档案

摘要:大数据下一代变革之必研究数据湖技术Hudi原理实战双管齐下-下本篇演示了Hudi集成Spark的Scala编程示例,并一步步操作说明如何使用DeltaStreamer从Kafka里读取数据写入到Hudi表的HDFS中,接着集成Flink的环境准备,通过基于yarn-session的Flink的sql-client方式提交任务实现插入数据和流式读取数据,了解字节贡献的Bucket索引和Hudi Catalog。 阅读全文
posted @ 2022-11-28 23:30 itxiaoshen 阅读(481) 评论(0) 推荐(0) 编辑
摘要:大数据下一代变革之必研究数据湖技术Hudi原理实战双管齐下-中本篇详细描述hoodie数据读写流程,进一步加深对数据湖技术的理解。理论后转战集成Spark的使用,通过spark-shell和spark-sql实现hoodie的插入数据、查询数据、更新数据、删除数据、覆盖数据、时间旅行查询等示例,了解创建表、修改表结构、查询分区、删除分区基本用法,为进一步使用奠定基础。 阅读全文
posted @ 2022-11-23 22:35 itxiaoshen 阅读(595) 评论(0) 推荐(0) 编辑
摘要:大数据下一代变革之必研究数据湖技术Hudi原理实战双管齐下-上湖仓一体时代来临解决大数据企业发展过程Lambada、Kappa架构的诸多痛点,三大数据湖技术Iceberg、Hudi、Delta Lake发展迅速,本篇则以学习功能较为齐全Hudi 数据湖入手,了解其特性和使用场景,一步步操作编译安装Hudi最新版本0.12.1,并初步了解时间轴、文件布局、索引、表类型、查询类型核心概念。 阅读全文
posted @ 2022-11-15 18:56 itxiaoshen 阅读(1018) 评论(0) 推荐(1) 编辑
摘要:成熟企业级开源监控解决方案Zabbix6.2关键功能实战-下通过上一篇对Zabbix基础和原理有一定理解,本篇则着重从多个实战示例一步步演示如何使用,可直接用于生产环境使用,内容覆盖源码安装、Zabbix Agent2部署、分布式架构Zabbix Proxy的使用、自定义监控、触发器、图形、模板、snmp监控、自动发现、主动注册、JMX监控等完整示例。 阅读全文
posted @ 2022-11-10 22:58 itxiaoshen 阅读(816) 评论(0) 推荐(0) 编辑
摘要:成熟企业级开源监控解决方案Zabbix6.2关键功能实战-上前面研究过最主流的容器化监控Prometheus,今天再来聊聊善于监控网络、物理机、虚拟机等的老牌成熟开源监控方案Zabbix(6.2)及其总体架构,并与小米开源Open-falcon做对比分析;企业如何正确选择其版本,最后快速部署Zabbix并实现一个Agent主机的入门示例。 阅读全文
posted @ 2022-11-05 22:10 itxiaoshen 阅读(981) 评论(0) 推荐(2) 编辑

点击右上角即可分享
微信分享提示