marioTcp
https://github.com/nicholaszj/marioTcp
MarioTCP
MarioTCP 是使用libevent模型来建立的一个性能强大的TCP服务器.
1:Getting Started
用MarioTCP来建立一个性能强大的TCP服务器非常简易.工程源码下有一个非常简洁的例子:
- mario.c:是简单的main程序:
- 1:直接make编译出maritcp,一个TCP服务器;
- 2:业务逻辑是:统计在线的socket的数量,每1分钟输出一次;
- test文件夹:简陋的客户端测试程序:
- 1:与服务器建立连接、发送LOGIN包登陆服务器;
- 2:maritcp服务器会使同时在线加1,客户端断开时服务器在线数减1;
###2:如何定制一个自己业务逻辑的tcp服务器 ### ####2.1 初始化Server####
- SERVER *server = init_server(conf->port, conf->workernum, conf->connnum, conf->timeout, conf->timeout);
- 参数
- port: 服务器Listen端口;
- workernum: 工作线程数;
- connnum: 每个线程支持的连接数;
- timeout: 读超时时间;
- timeout: 写超时时间。 ####2.2 实现业务逻辑函数并注册####
- 具体业务逻辑函数请见Function模块。可通过mario.h中定义的名为“regist_*”的函数来注册。
- 例子:
- 注册业务处理函数
void regist_akg_func(uint16 id, FUNC_PTR func);
typedef enum _CMD { CMD_FUNCTION_BASE = 0x6100, CMD_FUNCTION_LOGIN = 0x6101 } CMD
id可以是0-65535的任意数,此id封装在MarioTCP的协议中(见本文最后)。 id的范围,可以根据业务逻辑来定制,例如maritcp通过protocol.h中定义的CMD结构体来设定,如上代码.
- --你想为maritcp增加一个"say_hello"的服务
- 1)在CMD中增加:
CMD_FUNCTION_SAY_HELLO = 0x602
- 2)在function中增加函数:
sint32 say_hello(CONN c) { I)通过CONN来解析客户端发过来请求的参数 II)将“hello”设定到c->out_buf III)bufferevent_write(c->bufev, c->out_buf, hrsp->pkglen); IV)return 0; }
- 3)在mario.c中增加:
regist_akg_func(CMD_FUNCTION_SAY_HELLO, say_hello);
####2.3 启动日志线程####
- maritcp增加一个线程start_log_thread()
####2.4 启动服务器####
- OK,一个可以支持100万甚至更多长连接的TCP服务器,诞生了!
为什么高效
1:网络服务用到的所有结构体和内存都是启动程序时初始化的,无销毁,无回收。无销毁好理解,不解释。无回收,是指所有内存单元拿来即用,用完及可,不用做reset操作。
2、一个master线程进行accept经过测试发现多进程或线程进行accept和一个进程或线程accept,在极限压力下区别不大。一个master比多个master好在不用再通过锁来解决同步问题。
3、master与worker时单一生产者消费者模式,完全无锁通信不光accept无锁,分配connection、后续的conncetion处理都是无锁的。甚至业务逻辑(见示例maritcp的统计在线数功能)、MarioTCP的日志系统(这也是日志系统抽象不够的一个原因,之前的设计太依赖于整体架构了)都是无锁处理的!
4、一个worker一套libevent环境libevent处理10万长连接的网络读写事件,其性能达到最大化了。每个worker都独立一套libevent,这个结构经过测试,发现开销很小、性能很高。
测试环境的搭建
单机百万长连接、四万CPS(连接每秒)如何做测试
1、设置系统最大文件数为unlimited
2、设置系统的tcp内存内核参数到256M以上
3、设置系统的ip到15个,那么可服务的长连接数理论上最少15*(65535-1024)个
4、用epoll或libevent开一个可同时连接5w的客户端程序;程序还要实现每秒随机挑选1000个连接断掉,并再新创建1000个连接。另外在随机挑选几千连接发包。
5、设置服务端可重用SYN_WAIT的连接;客户端断连接的方式是主动断掉(防止客户端程序端口堆积)