Kafka网络通信模型

服务处理流程

关键点

• 服务器如何管理连接，获取输入数据
• 服务器如何处理请求

I/O多路复用

• I/O多路复用是指使用一个线程来检查多个文件描述符(Socket)的就绪状态
• select和poll函数，传入多个文件描述符，如果有一个文件描述符就绪，则返回，否则阻塞直到超时
• 得到就绪状态后进行真正的操作可以在同一个线程里执行，也可以启动线程执行(比如使用线程池)。

事件分发器

• 作用 ： 事件分发器的作用，将那些读写事件源分发给各读写事件的处理者
• Reactor ： Reactor模式是基于同步I/O的
• Proactor： Proactor模式是和异步I/O相关的

传统阻塞IO服务模型——BIO模式

• 采用阻塞IO模式获取输入的数据。
• 每个连接都需要独立的线程完成数据的输入，业务处理,数据返回。
  

BIO 解决方案

• 基于 I/O 复用模型：

  • 多个连接共用一个阻塞对象，应用程序只需要在一个阻塞对象等待，无需阻塞等待所有连接。
  • 当某个连接有新的数据可以处理时，操作系统通知应用程序，线程从阻塞状态返回，开始进行业务处理

• 基于线程池复用线程资源：

  • 不必再为每个连接创建线程，将连接完成后的业务处理任务分配给线程进行处理
  • 一个线程可以处理多个连接的业务。

Reactor

• 反应器模式；
• 分发者模式(Dispatcher)；
• 通知者模式(notifier)

NIO reactor

单 Reactor 单线程

1、Select 是前面 I/O 复用模型介绍的标准网络编程 API，可以实现应用程序通过一个阻塞对象监听多路连接请求。
2、Reactor 对象通过 Select 监控客户端请求事件，收到事件后通过 Dispatch 进行分发。
3、如果是建立连接请求事件，则由 Acceptor 通过 Accept 处理连接请求，然后创建一个 Handler 对象处理连接完成后的后续业务处理。
4、如果不是建立连接事件，则 Reactor 会分发调用连接对应的 Handler 来响应。
5、Handler 会完成 Read→业务处理→Send 的完整业务流程

单 Reactor 多线程

1、Reactor 对象通过select 监控客户端请求事件，收到事件后，通过dispatch进行分发。
2、如果建立连接请求，则右Acceptor 通过accept 处理连接请求，然后创建一个Handler对象处理完成连接后的各种事件。
3、如果不是连接请求，则由reactor分发调用连接对应的handler 来处理。
4、handler 只负责响应事件，不做具体的业务处理, 通过read 读取数据后，会分发给后面的worker线程池的某个线程处理业务。
5、worker 线程池会分配独立线程完成真正的业务，并将结果返回给handler。
6、handler收到响应后，通过send 将结果返回给client。

主从 Reactor 多线程

1、Reactor主线程 MainReactor 对象通过select 监听连接事件, 收到事件后，通过Acceptor 处理连接事件。
2、当 Acceptor 处理连接事件后，MainReactor 将连接分配给SubReactor。
3、subreactor 将连接加入到连接队列进行监听,并创建handler进行各种事件处理。
4、当有新事件发生时， subreactor 就会调用对应的handler处理。
5、handler 通过read 读取数据，分发给后面的worker 线程处理。
6、worker 线程池分配独立的worker 线程进行业务处理，并返回结果。
7、handler 收到响应的结果后，再通过send 将结果返回给client。
8、Reactor 主线程可以对应多个Reactor 子线程, 即MainRecator 可以关联多个SubReactor

kafaka模型

• networkclient
• acceptor
• ProcessorPool
• ProcessorPool dispathch to requestQueuePool
• requesthanderPool from requestQueuePool
• requesthanderPool dispathch to apis
• apis to requestQueuePool
• requestQueuePool to ProcessorPool
• ProcessorPool to networkclient

requesthanderPool(多线程)from request queue] --->