kafka "HelloWorld"实践

　　前面我们分别介绍了kafka的相关基本原理，kafka的集群服务器搭建以及kafka相关的配置，本文综合前面的理论知识，运用kafka Java API实现一个简单的客户端Demo。

开发环境

• 操作系统：MacOS 10.12.3
• 开发平台：Eclipse Neon.2 Release (4.6.2)
• JDK: java version 1.8.0_121
• zookeeper: zookeeper-3.4.9
• kafka: kafka-2.10-0.10.2.0

项目的建立与实现

　　首先为大家展示一下项目最终的结构图，如下：

　　下面开始建立项目：

• 首先建立一个基本的Maven Java Project 项目框架，项目名称为 kafkaDemo，建立项目流程参考：maven 基本框架搭建；
• 然后修改pom.xml文件内容，为项目引入kafka 客户端jar包：

    <dependency>
        <groupId>org.apache.kafka</groupId>
        <artifactId>kafka-clients</artifactId>
        <version>0.10.2.0</version>
    </dependency>

　　添加完成后保存pom.xml，然后maven update project。当update完成后，maven依赖包里的jar包应该如上图所示。

　　下面分别添加producer和consumer客户端代码。

　　在src/main/java目录下新建package，命名为 com.unionpay.producer。由于kafka producer端有同步发送和异步发送之分，本项目将两个示例都进行展示，首先编写同步发送ProducerSync代码。

　　ProducerSync.java:

package com.unionpay.producer;

import java.util.Properties;

import org.apache.kafka.clients.producer.KafkaProducer;
import org.apache.kafka.clients.producer.Producer;
import org.apache.kafka.clients.producer.ProducerRecord;


public class ProducerSync {

    private static final String TOPIC = "my-replicated-topic";
    public static void main(String[] args) {
        // TODO Auto-generated method stub

        Properties properties = new Properties();
        //客户端用于建立与kafka集群连接的host:port组，如果有多个broker,则用“,”隔开
//        "host1:port1,host2:port2,host3,post3"
        properties.put("bootstrap.servers", "127.0.0.1:9092");

//        producer在向servers发送信息后，是否需要serveres向客户端（producer）反馈接受消息状态用此参数配置
//        acks=0:表示producer不需要等待集群服务器发送的确认消息；acks=1:表示producer需要等到topic对应的leader发送的消息确认；
//        acks=all:表示producer需要等到leader以及所有followers的消息确认，这是最安全的消息保障机制
        properties.put("acks", "all");
        properties.put("key.serializer", "org.apache.kafka.common.serialization.StringSerializer");
        properties.put("value.serializer", "org.apache.kafka.common.serialization.StringSerializer");
        properties.put("buffer.memory", "33554432");
        
        Producer<String,String> producer = new KafkaProducer<String,String>(properties);
        
        for(int i=0;i<100;i++){
            
            String message = "Sync : this is the " + i + "th message for test!";
            ProducerRecord<String, String> producerRecord = new ProducerRecord<String, String>(TOPIC, message);
            producer.send(producerRecord);
            
            try {
                Thread.sleep(1000);
            } catch (InterruptedException e) {
                // TODO Auto-generated catch block
                e.printStackTrace();
            }
        }
        
        producer.close();
        
    }

}

　　然后编写异步ProducerAsync代码。

　　ProducerAsync.java:

package com.unionpay.producer;

import java.util.Properties;

import org.apache.kafka.clients.producer.KafkaProducer;
import org.apache.kafka.clients.producer.Producer;
import org.apache.kafka.clients.producer.ProducerRecord;

public class ProducerAsync {

    private static final String TOPIC = "my-replicated-topic";
    public static void main(String[] args) {
        // TODO Auto-generated method stub
        
        Properties  props = new Properties();
        props.put("bootstrap.servers", "127.0.0.1:9092");
        props.put("key.serializer", "org.apache.kafka.common.serialization.StringSerializer");
        props.put("value.serializer", "org.apache.kafka.common.serialization.StringSerializer");
        props.put("producer.type", "async");
        props.put("batch.size", "16384");
        
        Producer<String,String> producer = new KafkaProducer<String,String>(props);
        
        for(int i=0;i<100;i++){
            
            String message = "Async : this is the " + i + "th message for test!";
            
            ProducerRecord producerRecord = new ProducerRecord(TOPIC, message);
            producer.send(producerRecord);
            
            try {
                Thread.sleep(1000);
            } catch (InterruptedException e) {
                // TODO Auto-generated catch block
                e.printStackTrace();
            }
        }
        
        producer.close();
    }
}

　　从两个代码文件比对来看，异步中多了一句配置语句props.put("producer.type", "async");

　　然后编写consumer端代码

　　GroupConsumer.java:

package com.unionpay.consumer;

import java.util.Arrays;
import java.util.Properties;

import org.apache.kafka.clients.consumer.ConsumerRecord;
import org.apache.kafka.clients.consumer.ConsumerRecords;
import org.apache.kafka.clients.consumer.KafkaConsumer;

public class GroupConsumer {
    
    private static final String BROKER = "127.0.0.1:9092";
    private static final String TOPIC = "my-replicated-topic";
    

    public static void main(String[] args) {
        // TODO Auto-generated method stub

        Properties props = new Properties();
        props.put("bootstrap.servers",BROKER);
//        用来唯一标识consumer进程所在组的字符串，如果设置同样的group id，表示这些processes都是属于同一个consumer group
        props.put("group.id", "group1");
//        如果为真，consumer所fetch的消息的offset将会自动的同步到zookeeper。这项提交的offset将在进程挂掉时，由新的consumer使用
        props.put("enable.auto.commit", "true");
//        consumer向zookeeper提交offset的频率
        props.put("auto.commit.interval.ms", "1000");
        props.put("session.timeout.ms", "30000");
        props.put("key.deserializer", "org.apache.kafka.common.serialization.StringDeserializer");
        props.put("value.deserializer", "org.apache.kafka.common.serialization.StringDeserializer");
        
        KafkaConsumer<String, String> consumer = new KafkaConsumer<String, String>(props);
        
//        订阅topic，可以为多个用,隔开Arrays.asList("topic1","topic2");
        consumer.subscribe(Arrays.asList(TOPIC));
        
        while(true){
            ConsumerRecords<String,String> consumerRecords = consumer.poll(100);
            
            for(ConsumerRecord<String,String> consumerRecord : consumerRecords){
                System.out.println(consumerRecord.value());
            }
        }
    }
}

　　到目前为止，我们的项目建立完成啦，下面启动zookeeper集群服务器，启动kafka集群服务器：

//启动zookeeper集群服务器
cd ~/DevelopEnvironment/zookeeper-3.4.9-kafka/bin
./zkServer.sh start

//启动kafka集群服务器
cd ~/DevelopEnvironment/kafka_2.10-0.10.2.0/bin
./kafka-server-start.sh ../config/server.properties 
./kafka-server-start.sh ../config/server-1.properties 
./kafka-server-start.sh ../config/server-2.properties 

 　　当zookeeper集群服务器和kafka集群服务器启动成功后，然后分别运行GroupConsumer.java和ProducerAsync.java，客户端获取如下信息：

　　然后运行ProducerSync.java，客户端获取如下信息：

　　到此，游戏结束，我们的kafka API 使用demo介绍到此结束。