菜鸟系列Fabric源码学习 — kafka共识机制
Fabric 1.4源码分析 kafka共识机制
本文档主要介绍kafka共识机制流程。在查看文档之前可以先阅览raft共识流程以及orderer服务启动流程。
1. kafka 简介
Kafka是最初由Linkedin公司开发，是一个分布式、分区的、多副本的、多订阅者，基于zookeeper协调的分布式日志系统，一种高吞吐量的分布式发布订阅消息系统。kafka详细介绍可以参考这一篇博客。kafka介绍
2. kafka共识
kafka共识当中，每个orderer节点即是生产者Producer也是消费者Consumer，在具体设计当中，每个channel对应一个topic，并且为了保证顺序性，只设置了一个patition。（参见orderer启动初始化kafka共识代码kafka.New(conf, metricsProvider, healthChecker, registrar)），关于kafka共识，这里推荐一篇博客，可以看看设计思路以及实现流程。The ABCs of Kafka in Hyperledger Fabric
实现共识算法需要实现的接口。
type Consenter interface {
// 处理普通交易
Order(env *cb.Envelope, configSeq uint64) error
// 处理配置交易
Configure(config *cb.Envelope, configSeq uint64) error
WaitReady() error
}
而接口chain在Consenter接口基础上增加来部分接口
type Chain interface {
Order(env *cb.Envelope, configSeq uint64) error
Configure(config *cb.Envelope, configSeq uint64) error
WaitReady() error
Errored() <-chan struct{}
// 分配资源
Start()
// 释放资源
Halt()
MigrationStatus() migration.Status
}
kafka共识实现代码路径为：orderer/consensus/kafka/chain.go；首先，在创建chain时会调用start()方法分配资源，在kafka共识中，会初始化生产者producer、消费者Consumer以及一些配置。后续重点通过源码来介绍producer和consumer模块实现以及kafka共识整个交易的流程，即主要介绍交易排序整个流程。在此基础上，解决个人的一些疑问。
3. 交易排序处理
3.1 orderer作为生产者
首先，当发送一个交易给orderer时，会调用orderer模块的broadcast()服务，其中会调用bh.ProcessMessage(msg, addr)方法根据交易类型调用不同的方法处理。
其中无论是配置交易还是普通交易都会调用chain.enqueue()方法,通过chain.producer.SendMessage(message)方法将交易写入kafka。从而orderer作为生产者角色功能就是将客户端发过来的交易写入kafka。再次强调一下，每个通道对应一个topic，每个topic只有一个patition。
func (chain *chainImpl) enqueue(kafkaMsg *ab.KafkaMessage) bool {
logger.Debugf("[channel: %s] Enqueueing envelope...", chain.ChainID())
select {
case <-chain.startChan: // The Start phase has completed
select {
case <-chain.haltChan: // The chain has been halted, stop here
logger.Warningf("[channel: %s] consenter for this channel has been halted", chain.ChainID())
return false
default: // The post path
payload, err := utils.Marshal(kafkaMsg)
if err != nil {
logger.Errorf("[channel: %s] unable to marshal Kafka message because = %s", chain.ChainID(), err)
return false
}
message := newProducerMessage(chain.channel, payload)
if _, _, err = chain.producer.SendMessage(message); err != nil {
logger.Errorf("[channel: %s] cannot enqueue envelope because = %s", chain.ChainID(), err)
return false
}
logger.Debugf("[channel: %s] Envelope enqueued successfully", chain.ChainID())
return true
}
default: // Not ready yet
logger.Warningf("[channel: %s] Will not enqueue, consenter for this channel hasn't started yet", chain.ChainID())
return false
}
}
3.2 orderer作为消费者
orderer作为消费者的功能为：将kafka对应topic里面的交易打包成区块，并写入账本。
其中，在orderer创建对应chain的时候调用chain.start()。
func (chain *chainImpl) Start() {
go startThread(chain)
}
kafka会开启协程go startThread(chain)，其中会对kafka进行一系列初始化工作。最后会调用chain.processMessagesToBlocks()方法，生成对应区块。
func (chain *chainImpl) processMessagesToBlocks() ([]uint64, error) {
...
for {
select {
...
case in, ok := <-chain.channelConsumer.Messages():
...
switch msg.Type.(type) {
...
case *ab.KafkaMessage_Regular:
if err := chain.processRegular(msg.GetRegular(), in.Offset); err != nil {
logger.Warningf("[channel: %s] Error when processing incoming message of type REGULAR = %s", chain.ChainID(), err)
counts[indexProcessRegularError]++
} else {
counts[indexProcessRegularPass]++
}
}
...
}
}
其中，会对chain.processRegular(msg.GetRegular(), in.Offset)消息进行处理。
其中，会针对配置交易和普通交易进行分别处理。普通交易会调用chain.BlockCutter().Ordered(message)生成对应的batchs，配置交易会一个交易一个区块，直接调用chain.BlockCutter().Cut()生成batch。然后再生成区块、写入账本。
4. 问题思考
- kafka共识模式下动态更新系统通道配置添加orderer，是否就可提供排序服务。
经查看代码，在orderer启动过程中，只有raft共识会判断该orderer（raft节点）是否在对应对consenter集群中。如果不在则会创建inactivechain，无法提供排序服务（必须更新consenter才行）。但是kafka不存在上述过程，在orderer启动后，会从kafka同步系统通道区块，当区块包括创建通道交易时，会创建应用通道，同步应用通道区块（该流程类似raft共识写账本流程）。因此，该orderer可以提供服务，但是如果是每个组织提供orderer的场景、由于没有更新应用通道排序组织，从而导致无法通过服务发现获取该orderer信息。
