kafkaUtils (原生java API consumer)
摘要：package com.sea.cbb.utils; import org.apache.kafka.clients.consumer.*; import java.time.Duration; import java.util.*; import java.util.concurrent.Time
阅读全文
posted @
2022-06-26 18:42
lshan
阅读(409)
推荐(0) 编辑
kafka 导入数据到 doris
摘要：具体见官网：http://doris.apache.org/master/zh-CN/sql-reference/sql-statements/Data%20Manipulation/ROUTINE%20LOAD.html#description 下面是个人测试例子： １．创建ＤＢ CREATE T
阅读全文
posted @
2021-05-20 17:06
lshan
阅读(3853)
推荐(0) 编辑
sparkStreming kafka offset 管理
摘要：Direct Approach (No Receivers) 简化的并行性：不需要创建多个输入Kafka流并将其合并。 使用directStream，Spark Streaming将创建 与使用Kafka分区一样多的RDD分区，这些分区将全部从Kafka并行读取数据。 所以在Kafka和RDD分 区
阅读全文
posted @
2020-11-17 12:37
lshan
阅读(178)
推荐(0) 编辑
Kafka压力测试
摘要：项目经验之Kafka压力测试 1）Kafka压测 用Kafka官方自带的脚本，对Kafka进行压测。Kafka压测时，可以查看到哪个地方出现了瓶颈（CPU，内存，网络IO）。一般都是网络IO达到瓶颈。 kafka-consumer-perf-test.sh kafka-producer-perf-t
阅读全文
posted @
2020-06-02 14:15
lshan
阅读(1378)
推荐(0) 编辑
kafka 重启consumer 重复消费问题
摘要：原文链接：https://blog.csdn.net/z1941563559/java/article/details/88753938 问题描述：kafka的某些topic在消费完毕后一段时间，重启唯一消费者，offset会重置为最小offset重新消费，一直导致kafka消费的重复消费问题。问题
阅读全文
posted @
2020-03-26 12:40
lshan
阅读(6880)
推荐(0) 编辑
kafka cusumer --java(no springboot)
摘要：依赖： <dependency> <groupId>org.apache.kafka</groupId> <artifactId>kafka-clients</artifactId> <version>2.1.1</version> </dependency> consumer.properties
阅读全文
posted @
2019-12-25 16:46
lshan
阅读(540)
推荐(0) 编辑
kafka 高级应用 springboot2.1 (2) 手动创建topic
摘要：依赖： application.properties: KafkaConfig: 如果topic需要初始化：可以配置//cankao :https://blog.csdn.net/tmeng521/article/details/90901925 test 手动创建topic ,手动查看所有topi
阅读全文
posted @
2019-09-18 17:53
lshan
阅读(8369)
推荐(0) 编辑
kafka 集群部署
摘要：kafka下载： http://kafka.apache.org/downloads 版本： kafka_2.11-1.1.1.tgz 解压： tar -zxvf kafka_2.11-1.1.1.tgz -C /opt/install [root@hadoop002 kafka_2.11-1.1.
阅读全文
posted @
2019-08-30 10:49
lshan
阅读(183)
推荐(0) 编辑
kafka可视化客户端工具（Kafka Tool）安装
摘要：下载地址：http://www.kafkatool.com/download.html 2、安装 根据不同的系统下载对应的版本，我这里kafka版本是1.1.0，下载kafka tool 2.0.1。 双击下载完成的exe图标，傻瓜式完成安装。 工具的使用可以参考： 参考:https://www.c
阅读全文
posted @
2019-06-25 14:16
lshan
阅读(1328)
推荐(0) 编辑
kafka 开机启动脚本
摘要：ubuntu16.04 1. /etc/init.d$ vi kafka.sh #!/bin/bash #export KAFKA_HOME=$PATH export KAFKA_HOME=/opt/Kafka/kafka_2.11-1.1.1 #chkconfig:2345 30 80 #desc
阅读全文
posted @
2019-06-25 13:39
lshan
阅读(1984)
推荐(0) 编辑
