Kafka的配置文件
1 producer.properties参数说明
#指定kafka节点列表,用于获取metadata,不必全部指定
metadata.broker.list=hdp01:9092,hdp02:9092,hdp03:9092
#指定分区处理类。默认kafka.producer.DefaultPartitioner,表示通过key哈希到对应的分区
#partitioner.class=kafka.producer.DefaultPartitioner
#是否压缩，默认0表示不压缩，1表示用gzip压缩，2表示用snappy压缩。压缩后消息中会有头来指明消息压缩类型，故在消费者端消息解压
compression.codec=none
#指定序列化处理类
serializer.class=kafka.serializer.DefaultEncoder
#如果消息要压缩，这里需要指定哪些topic需要压缩，默认empty,表示不压缩
#compressed.topics=
#设置数据发送是否需要服务端的反馈，有三个值0,1,-1
#0:producer不会等待broker发送ack;
#1:当leader接受到消息之后发送ack;
#-1:当所有的follower都同步消息成功之后发送ack
request.required.acks=0
#在向producer发送ack之前，broker容许等待的最大时间，如果超时，broker将向producer发送一个error ack
#意味着上次消息因某种原因未能成功(比如followe未能同步成功)
request.timeout.ms=10000
#同步还是异步发送消息，默认'sync'表示同步，'async'表示异步。异步可以提高发送的吞吐量，也意味着消息将在本地的buffer中，并适时的批量发送，但也有可能导致丢失未发送过去的消息
producer.type=async
#在async模式下，producer端容许buffer的最大的消息量
#无论如何producer都无法尽快的将消息发送到broker,从而导致消息在producer端大量的沉积
#此时如果消息的条数达到阈值，将会导致producer端阻塞或者被抛弃，默认为10000
queue.buffering.max.messages=20000
#在async模式下，当message被缓存的时间超过此值后，将会批量的发送给broker,默认的是5000ms
#此值和batch.num.messages协同工作
queue.buffering.max.ms=5000
#如果是异步每次批量发送的数据量,默认是200
batch.num.messages=500
#当消息在producer端沉积的条数达到"queue.buffering.max.messages"后
#阻塞一定时间后，队列仍然没有enqueue(producer仍然没有发送出任何消息)
#此时producer可以继续阻塞或将消息抛弃，此时timeout用于控制阻塞的时间
#-1:表示无阻塞超时限制，消息不会被抛弃
#0:立刻清空队列，消息被抛弃
queue.enqueue.timeout.ms=-1
#当producer接受到error ACK,或者没有接受到ACK时,容许消息重发的次数
#因为broker没有完整的机制来避免消息重复,所以当网络异常时(比如ACK丢失)
#有可能导致broker接受到重复的消息，默认值为3
message.send.max.retries=3
#producer刷新topic metadata的时间间隔,producer要知道partition leader的位置,以及当前topic的情况
#因此producer需要一个机制来获取最新的metadata,当producer遇到特定错误时，将会立即刷新
#(比如topic失效、partition丢失、leader失效等)，此外也可以通过此参数来配置额外的刷新机制,默认值是60000
topic.metadata.refresh.interval.ms=60000
2 consumer.properties参数说明
#zookeeper连接服务器的地址
zookeeper.connect=hdp01:2181,hdp02:2181,hdp03:2181
#zookeeper的session的过期时间，默认是5000ms,用于检测消费者是否挂掉
zookeeper.session.timeout.ms=5000
#当消费者挂掉，其他消费者要等该指定时间才能检查到并且触发重新的负载均衡
zookeeper.connection.timeout.ms=1000
#指定多久消费者更新offset到zookeeper中。注意offset更新时基于time而不是每次获得的消息。一旦
#在更新zookeeper时发生异常并重启,将可能拿到已经拿到过的消息
zookeeper.sync.time.ms=2000
#指定消费
#group id=xxx
#当consumer消费一定量的消息之后,将会自动向zookeeper提交offset信息
#注意offset信息并不是每消费一次消息就向zk提交一次，而是保存在本地(内存),并定期提交,默认是true
auto.commit.enable=true
#自动更新时间,默认是60*1000
auto.commit.interval.ms=1000
#当前consumer的标识,可以设定也可以由系统生成,主要用来跟踪消息消费情况,便于观察
#consumer.id=xxx
#消费者客户端的编号,用于区分不同的客户端，默认的客户端程序自动生成
#client.id=xxx
#最大取多少块缓存到消费者(默认是10)
queued.max.message.chunks=50
#当有新的cusumer加入到group时,将会rebalance,此后将会有partitions的消费端迁移到新的consumer上，如果
#一个consumer获取到某个partition的消费权限，那么他会向zookeeper上注册"partition owner registry"
#节点信息,但是有可能此时旧的consumer尚没有释放此节点,此值用于控制注册节点的重试次数
rebalance.max.retries=5
#获取消息的最大尺寸，broker不会向consumer输出大于此值消息的chunk,每次feth将得到多少条消息,此
#值为总大小，提升此值，将会消耗更多的consumer端内存
fetch.min.bytes=6553600
#当消息的尺寸不足时，server的阻塞时间，如果超时，消息将会立即发送给consumer
fetch.wait.max.ms=5000
socket.receive.buffer.bytes=6553600
#如果zookeeper没有offset值或offset值超出范围。那么就给个初始的offset。有smallest、
#largest、anything可选，分别表示当前最小的offset、当前最大的offset、抛出异常。默认是largest
auto.offset.reset=smallest
#指定序列化处理类
derializer.class=kafka.serializer.DefaultDecoder
3 kafka配置文件的图解
