4. 新版本的生产者API 带有自定义分区和回调函数的生产者
1. 开启进程
[node123]systemctl stop firewalld
[node123]zkServer.sh start
[node123]kafka-server-start.sh /opt/app/kafka-0.11.0.0/config/server.properties &
[node1]kafka-console-consumer.sh --zookeeper node1:2181 --topic demo
2. java导入依赖
<?xml version="1.0" encoding="UTF-8"?>
<project xmlns="http://maven.apache.org/POM/4.0.0"
xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">
<modelVersion>4.0.0</modelVersion>
<groupId>org.example</groupId>
<artifactId>kafkacode</artifactId>
<version>1.0-SNAPSHOT</version>
<dependencies>
<dependency>
<groupId>org.apache.kafka</groupId>
<artifactId>kafka-clients</artifactId>
<version>0.11.0.0</version>
</dependency>
<dependency>
<groupId>org.apache.kafka</groupId>
<artifactId>kafka_2.12</artifactId>
<version>0.11.0.0</version>
</dependency>
</dependencies>
</project>
3. java代码
package new_partition_pro;
import org.apache.kafka.clients.producer.Callback;
import org.apache.kafka.clients.producer.KafkaProducer;
import org.apache.kafka.clients.producer.ProducerRecord;
import org.apache.kafka.clients.producer.RecordMetadata;
import java.util.Properties;
// 新版本的生产者API 带有自定义分区和回调函数的生产者
public class NewProducerPartitionAndCallBack {
public static void main(String[] args) {
// 1、定义生产者连接Kafka集群的配置项 key-value格式的
Properties prop = new Properties();
prop.put("bootstrap.servers", "192.168.200.111:9092,192.168.200.112:9092,192.168.200.113:9092");
// key序列化
prop.put("key.serializer", "org.apache.kafka.common.serialization.IntegerSerializer");
// value序列化
prop.put("value.serializer", "org.apache.kafka.common.serialization.StringSerializer");
/**
* 设置分区类的时候 要求类必须是public权限的(无法通过反射构建)
* 第二个参数是全限定类名
*/
prop.put("partitioner.class","new_partition_pro.CustomPartition");
// 2. 创建一个生产者
KafkaProducer<Integer, String> producer = new KafkaProducer<Integer, String>(prop);
// 3、使用生产者向某个主题发送一个数据
for (int i = 0; i < 100; i++) {
ProducerRecord<Integer, String> record = new ProducerRecord<Integer, String>("demo", i, "hello" + i);
final int finalI = i;
/**
* 方法就是kafka生产者消息发送完成之后,触发的一个回调函数
* @param recordMetadata 包含当前这个消息在Topic主题中的分区和offset
* @param e
*/
producer.send(record, new Callback() {
public void onCompletion(RecordMetadata recordMetadata, Exception e) {
System.out.println("当前这个数据的分区为:"+recordMetadata.partition() + "---offset:" + recordMetadata.offset());
System.out.println("当前的key为:" + finalI);
}
});
}
/**
* 4、代表将生产者生产的数据刷新到topic中
*/
producer.flush();
}
}
- 自定义的分区
package new_partition_pro;
import org.apache.kafka.clients.producer.Partitioner;
import org.apache.kafka.common.Cluster;
import java.util.Map;
public class CustomPartition implements Partitioner {
/**
* 方法代表分区机制
* @param s 主题名
* @param key 发送消息的key值
* @param bytes 发送消息的key的byte字节数组数据
* @param value 发送消息的value值
* @param bytes1 发送消息的value的byte字节数组数据
* @param cluster kafka集群
* @return
*/
public int partition(String s, Object key, byte[] bytes, Object value, byte[] bytes1, Cluster cluster) {
/**
* 根据key值自定义分区机制 分区规则如下:
* 如果key是3的倍数 那么0号分区
* 如果key是4的倍数 那么1号分区
* 如果key不是三的倍数也不是4的倍数 那么放到2号分区
*/
int num = Integer.parseInt(key.toString());
if (num % 3 == 0) {
return 0;
} else if (num % 4 == 1) {
return 1;
} else {
return 2;
}
}
public void close() {
}
public void configure(Map<String, ?> map) {
}
}
4. 效果图
本文来自博客园,作者:jsqup,转载请注明原文链接:https://www.cnblogs.com/jsqup/p/16667135.html