OceanBase server处理网络包的回调逻辑

OceanBase处理网络包的逻辑还是蛮绕的，这里以UPS为例，作为给自己的备忘。

 

UPS代码的main.cpp中调用ObUpdateServerMain的start启动server。start函数会调用ObUpdateServerMain的do_work函数，此函数调用ObUpdateServer类的start启动UPS。

 

ObUpdateServer继承自如下几个类：

1）common::ObBaseServer，基础的server类，要求派生类实现handlePacket和handleBatchPacket方法（后一个UPS不会使用），这两个是纯虚函数，同时有个虚函数start_service，派生类可以实现此方法用于初始化时做些server相关的逻辑；

2）ObPacketQueueHandler，  要求派生类实现handlePacketQueue接口；

3）common::IBatchPacketQueueHandler，要求派生类实现handleBatchPacketQueue接口；

 

ObUpdateServer类的start函数实际上调用的ObBaseServer的start函数，此函数做如下几件事：

1）初始化libeasy相关的一系列数据结构, 在特定的网络端口上监听等；

2）调用initialize函数（需要派生类实现）；

3）调用start_service函数（派生类可自己实现）；

 

ObUpdateServer的initialize函数，做一系列启动UPS内部所需的参数的初始化，除了必要的参数外，有几个需要特别注意下：

1）server_handler_，此变量的类型是easy_io_handler_pt，此处注册一系列回调，包括收包时的编解码（server_handler_.encode/server_handler_.decode），收包时的处理逻辑（server_handler_.process），断开连接时的处理等（server_handler_.on_disconnect）等；编解码相关等都是使用的所有OB server共用的ObTbnetCallback类的方法，版本升级时包的格式变化只需要统一改此common类的方法即可；包的处理逻辑调用的UPS自己的ObUpdateCallback::process方法；

2）client_manager_的初始化，后续server发包都需要用到client_manager_;

3）rpc相关的初始化；

4）一系列worker线程的初始化（如read_thread_queue_/write_thread_queue_/lease_thread_queue_等，具体看代码，指定不同类型线程的线程数，将this传给各个线程用作handler回调等）；

 

ObUpdateServer的start_service函数，调用start_threads（此函数调用上述一系列worker线程的start方法，等候收到任务处理），start_timer_schedule设定一系列ObTimer设定一些定时器相关的处理逻辑。

 

如上和网络包处理相关的一系列函数说清楚了，然后具体说说网络包收到后是怎么处理的。

libeasy收到包会调用注册的回调方法ObUpdateCallback::process，此函数会调用ObUpdateServer的handlePacket方法，此函数由各server自己实现，如UPS，会根据packet_code不同，或者进行本地处理（因为libeasy有多个IO poll thread，所以本地可以处理一些耗时少的操作包），或是扔给不同的worker类处理。这里分别举个例子：

1）packet_code为OB_SET_OBI_ROLE类型的包，调用read_thread_queue_的push方法，交由read_thread_queue_线程处理；

2）packet_code为OB_UPS_CLEAR_FATAL_STATUS类型的包，调用lease_thread_queue_的push方法，交由lease_thread_queue_线程处理；

3）OB_WRITE/OB_MS_MUTATE/OB_FAKE_WRITE_FOR_KEEP_ALIVE/OB_UPS_PHY_PLAN_EXECUTE/OB_START_TRANSACTION/OB_END_TRANSACTION/OB_WRITE_DUMMY_LOG类型的包，直接在IO线程中调用trans_executor_的handle_packet函数处理；这里注意下，trans_executor_的handle_packet也会进一步判断包的类型，确定是直接在此函数中处理（transe_executor_类对不同类型的包实现了一系列的handle函数），还是通过调用push_task_交由trans_executor自己的一系列worker线程处理。

 

read_thread_queue_等worker线程是common::ObPacketQueueThread类型的（或者其他类似类型）实例，此类类型都是tbsys::CDefaultRunnable的派生类，其内部含有一个阻塞队列等消息到来，同时有一个用于回调的ObPacketQueueHandler类型的handler（注意ObUpdateServer就继承自ObPacketQueueHandler，实际上此处注册的handler就是ObUpdateServer类的对象）。此类worker线程start后真正调用的是ObPacketQueueThread::run函数，此函数即从内部队列中取消息，然后调用ObUpdateServer的handlePacketQueue函数，handlePacketQueue函数再根据包的类型调用ObUpdateServer类实现的各类方法对包进行处理。此处由于是worker线程，所有包都是线程本地处理的。

 

至此，整个处理包的逻辑应该被串起来了。其实主要是初看代码时handlePacket/handlePacketQueue/handleBatchPacket/handleBatchPacketQueue各由谁调用，以及在哪个线程空间中被调用不太好理解。