17水平触发模式下数据发送

一、理解socket可写的概念

每一个tcp连接(socket)，都会有一个接收缓冲区  和 一个发送缓冲;发送缓冲区缺省大小一般10几k，
接收缓冲区大概几十k，setsocketopt()来设置;"send(),write()发送数据时"，
实际上这两个函数是把数据放到了发送缓冲区，之后这两个函数返回了;客户端用recv(),read();
"而如果"服务器端的发送缓冲区"满了"，那么服务器再调用send(),write()发送数据的时候，
那么send(),write()函数就会返回一个"EAGAIN";EAGAIN不是一个错误，
只是示意发送缓冲区已经满了，"迟一些"再调用send(),write()来发送数据吧；

二、问题和解决方案

针对 当socket可写的时候【发送缓冲区没满】，会不停的触发socket可写事件 ,我们提出两种解决方案【面试可能考试】；
两种解决方案，来自网络,意义在于我们可以通过这种解决方案来指导我们写代码；

1)第一种最普遍的解决方案:
需要向socket写数据的时候把socket写事件通知加入到epoll中，等待可写事件，当可写事件来时操作系统会通知咱们；
此时咱们可以调用wirte/send函数发送数据，当发送数据完毕后，把socket的写事件通知从红黑树中移除；
缺点：即使发送很少的数据，也需要把事件通知加入到epoll，写完毕后，有需要把写事件通知从红黑树干掉,
对效率有一定的影响【有一定的操作代价】

2)改进方案；//==========<========
开始不把socket写事件通知加入到epoll,当我需要写数据的时候，直接调用write/send发送数据；
如果返回了EAGIN【发送缓冲区满了，需要等待可写事件才能继续往发送缓冲区里写数据】，
此时，我再把写事件通知加入到epoll，此时，就变成了在epoll驱动下写数据，全部数据发送完毕后，
再把写事件通知从epoll中干掉；
优点：数据不多的时候，可以避免epoll的写事件的增加/删除，提高了程序的执行效率；

准备采用2)改进方案来指导咱们后续发送数据的代码；

三、实际解决方案

1.在业务逻辑处理完，_HandleRegister(),需要给一连接发送数据时，在这一步，是已经把数据包打包好了，
其中数据包：消息头+包头+包体。三部分组成。
2.发送数据包，调用：msgSend(p_sendbuf);在这个函数中，会把数据推入发送消息队列，并通过“信号量”的
sem_post(&m_semEventSendQueue) 来通知 ServerSendQueueThread()（服务发送消息队列的线程）流程走下来，
在这个线程中，有一个sem_wait()函数，这个函数就是用来接收通知的。
3.在这里之前，需要对信号量进行初始化，互斥量进行初始化，线程的创建，并且这个对各种的对象的销毁
放在子进程退出的地方。
4.线程函数中有sem_wait(&pSocketObj->m_semEventSendQueue)，在经过一系列判断之后，确定的数据包是
必须要发送的，这里发送的数据包只包括包头和包体，消息头在判断有效性中已经使用了。
5.pSocketObj->sendproc(p_Conn,p_Conn->psendbuf,p_Conn->isendlen);
是第一步发送数据到套接字的发送缓冲区，只用发送缓冲区满了，那么才把需要发送的数据放在epoll管理中，
pSocketObj->ngx_epoll_oper_event()。
6.发送缓冲区满,就一直只发送到epoll中，一旦缓冲区有可写空间，那么，就会调用
ngx_write_request_handler()数据发送时的写处理函数.
7.ngx_write_request_handler()函数中有函数sendproc()，只要epoll中有数据，
那么就不会把epoll时间的可写事件去除，在这个过程中，将只要发送缓存区有空余那么就可以把数据
从epoll发送到发送缓冲区。而一旦epoll中没有数据了，那我们就把epoll的可写事件擦除了。
8.到这里就一个过程就OK了。

四、测试心得

LT模式下，发送数据采用的 “改进方案” 是非常有效的，在很大程度上提高了效率；
服务器的套接字发送缓冲区大概10-几10K,但是实际测试的时候，成功的发送出去了1000多k数据才报告发送缓冲区满;当发送端调用send()发送数据时，"操作系统底层"已经把数据发送到了 该连接的接收端（客户端） 的接收缓存，这个接收缓存（客户端的操作系统）大概有几百K。