随笔分类 - kafka
摘要：自定义分区类 生产者发送到对应的分区有以下几种方式： （1）指定了patition，则直接使用；(可以查阅对应的java api, 有多种参数) （2）未指定patition但指定key，通过对key的value进行hash出一个patition； （3）patition和key都未指定，使用轮询选
阅读全文
摘要：什么是Kafka 在流式计算中，Kafka一般用来缓存数据。 1）Apache Kafka是一个开源消息系统，由Scala写成。是由Apache软件基金会开发的一个开源消息系统项目。 2）Kafka最初是由LinkedIn公司开发，并于2011年初开源。2012年10月从Apache Incubat
阅读全文
摘要：spring-kafka-provider.xml配置： <?xml version="1.0" encoding="UTF-8"?> <beans xmlns="http://www.springframework.org/schema/beans" xmlns:xsi="http://www.w
阅读全文
摘要：转载，原文地址https://www.cnblogs.com/liuwei6/p/6900686.html 一、 1、原理图 2、原理描述 一个topic 可以配置几个partition，produce发送的消息分发到不同的partition中，consumer接受数据的时候是按照group来接受，
阅读全文
摘要：项目集成spring-kafka，在项目启动后需要做些初始化资源的任务，kafka消费会依赖这些所以需要配置kafka手动启动。 类似这样，设置autoStartup为false 然后代码里面调用这个监听实例的start方法，就可以开始监听。 messageListenerContainer.sta
阅读全文
摘要：kafka如果直接启动会出现问题，就是信息会打印在控制台，就会出现在控制台。 然后关闭窗口，kafka随之关闭，然后启动以下的命令就可以实现。 nohup ./kafka-server-start.sh ../config/server.properties 1>/dev/null 2>&1 & 发
阅读全文
摘要：./kafka-run-class.sh kafka.tools.GetOffsetShell --broker-list 192.168.71.133:9092,192.168.71.134:9092,192.168.71.135:9092 -topic monitor_warn --time -
阅读全文
摘要：一、下载kafka包 然后解压： 可以改下文件夹的名称： 然后编辑配置文件： 主要的几点
阅读全文
摘要：Java中提供高级的API，相对于低级API（更小的粒度控制消费）使用起来非常方便。 pom: <dependency> <groupId>org.apache.kafka</groupId> <artifactId>kafka_2.11</artifactId> <version>1.0.0</v
阅读全文
摘要：一、下载 下载地址 选择windows 傻瓜式安装，选择安装路径，直接下一步就可以了 二、 使用 点击，运行 linux开启9092(broker)端口和2181(zookeeper)然后填写后，确定即可 以下表示成功。
阅读全文
摘要：一、下载kafka kafka下载地址 二、解压启动 三、 kafka依赖于zookeeper，现在的高版本自带zookeeper 启动zookeeper： 启动kafka： 四、简单使用 在安装目录下： 查看创建的topic： 生产者产生消息 然后输入相关的消息： 接下来消费者消费信息： 然后可以
阅读全文
