RICH-ATONE

2021年8月30日 #

Spark中的 aggregate 方法详解

摘要： 函数解析： 1. 参数：(zeroValue: U) (seqOp: (U, T) ⇒ U, combOp: (U, U) ⇒ U)2. 作用：aggregate函数将每个分区里面的元素通过seqOp和初始值进行聚合，然后用combine函数将每个分区的结果和初始值(zeroValue)进行comb 阅读全文

posted @ 2021-08-30 18:03 RICH-ATONE 阅读(1026) 评论(0) 推荐(0) 编辑

假如Kafka集群中一个broker宕机无法恢复, 应该如何处理?

摘要： 如果服务器真的坏了, 只需要新启动一个broker, 把broker.id设置为 损坏的那个broker的id, 就会自动复制过去丢失的数据 How to replace a failed broker? When a broker fails, Kafka doesn't automaticall 阅读全文

posted @ 2021-08-30 10:30 RICH-ATONE 阅读(433) 评论(0) 推荐(0) 编辑

导航