摘要: 1.为什么要用Flume? ‌(1).高效的数据收集与聚合‌:Flume能从多种来源(如Web服务器、消息队列、文件系统等)高效地收集数据,并将其发送到指定的目标位置‌。它还能将来自不同源的数据进行聚合,便于后续的分析和处理‌。‌‌(2).灵活的数据转换与传输‌:Flume支持对收集到的数据进行转换 阅读全文
posted @ 2024-12-04 18:46 业余砖家 阅读(20) 评论(0) 推荐(0) 编辑
摘要: 多数介绍数据倾斜的文章都是以大篇幅的理论为主,并没有给出具体的数据倾斜案例。当工作中遇到了倾斜问题,这些理论很难直接应用,导致我们面对倾斜时还是不知所措。 今天我们不扯大篇理论,直接以例子来实践,排查是否出现了数据倾斜,具体是哪段代码导致的倾斜,怎么解决这段代码的倾斜。 当执行过程中任务卡在 99% 阅读全文
posted @ 2024-12-04 18:04 业余砖家 阅读(20) 评论(0) 推荐(0) 编辑
摘要: 1、StarRocks 的 MV(物化视图)机制是如何工作的? StarRocks 的物化视图(MV)机制通过预先计算和存储数据的聚合结果或者转换结果来提高查询性能。其工作原理如下: (1)、数据预处理: 在创建物化视图时,StarRocks 会对指定的表进行数据聚合或转换操作,然后将结果存储在物化 阅读全文
posted @ 2024-12-04 17:29 业余砖家 阅读(37) 评论(0) 推荐(0) 编辑
摘要: 执行命令: ifup lo 时,Centos 无法获取IP报错:No suitable device found for this connection device lo not available because device is strictly unmanaged 1. 错误现象No su 阅读全文
posted @ 2024-12-04 14:51 业余砖家 阅读(54) 评论(0) 推荐(0) 编辑