Nginx源码分析-master和worker进程间的通信

转自 http://blog.csdn.net/marcky/article/details/6014733

前面单独分析了master进程和worker的工作情况，本文就大概看一下master进程和worker进程之间是如何使用channel来完成通信的。这部分实现的源码主要分布于src/os/unix/channel.h和channel.c两个文件中。实现极其简单，没有什么复杂的逻辑。下面，我绘制了一个简单的master进程和worker进程间的关系，图中的箭头符号指出数据是由master进程传给worker进程，而没有从worker到master；这是因为channel不是一个普通的数据传输管道，在Nginx中它仅仅是用着master发送指令给worker的一个管道，master借此channel来告诉worker进程该做什么了，worker却不需要告诉master该做什么，所以是一个单向的通道。

master进程每次发送给worker进程的指令用如下一个结构来完成封装：

typedef struct {
     ngx_uint_t  command;
     ngx_pid_t   pid;
     ngx_int_t   slot;
     ngx_fd_t    fd;
} ngx_channel_t;

typedef struct { ngx_uint_t command; ngx_pid_t pid; ngx_int_t slot; ngx_fd_t fd; } ngx_channel_t;

 这个结构中的4个字段分别是发送的指令、worker进程的pid、worker进程的slot（在ngx_proecsses中的索引）及一个文件描述符。master进程可能会将一个打开的文件描述符发送给worker进程进行读写操作，那么此时就需要填写fd这个字段了。worker进程在收到一个这样的结构数据后，通过判断command的值来采取相应的动作；command就是master给worker下达的命令。

 

---

 

 master进程用于处理SIGCHLD信号的函数ngx_reap_children中就有向worker进程发送关闭channel的指令，我们看看这个例子是怎么做的。

ch.command = NGX_CMD_CLOSE_CHANNEL;
ch.fd = -1;
ch.pid = ngx_processes[i].pid;
ch.slot = i;
ngx_write_channel(ngx_processes[n].channel[0],
                                  &ch, sizeof(ngx_channel_t), cycle->log);

ch.command = NGX_CMD_CLOSE_CHANNEL; ch.fd = -1; ch.pid = ngx_processes[i].pid; ch.slot = i; ngx_write_channel(ngx_processes[n].channel[0], &ch, sizeof(ngx_channel_t), cycle->log);

 这几行代码是我从ngx_reap_children函数中拼凑起来的，所以看上去好像有点奇怪，不那么顺畅；但却清晰的给我们展现了master进程怎么给一个worker进程发送指令，此处发送的指令时NGX_CMD_CLOSE_CHANNEL。发送指令的函数ngx_write_channel是利用sendmsg来完成，《Unix网络编程》可以详细了解sendmsg。

 worker进程在调用ngx_worker_process_init进行初始化的时候，使用了如下两行代码将channel放到epoll等事件处理模块中。

 [cpp] view plaincopyprint?

if (ngx_add_channel_event(cycle, ngx_channel, NGX_READ_EVENT,
                          ngx_channel_handler)
    == NGX_ERROR)
{
    /* fatal */
    exit(2);
}

if (ngx_add_channel_event(cycle, ngx_channel, NGX_READ_EVENT, ngx_channel_handler) == NGX_ERROR) { /* fatal */ exit(2); }

 当master进程发来指令后，就调用ngx_channel_handler函数进行事件的响应。下面浓缩的代码给出了ngx_channel_handler所做的事情。

/*
    读出master进程发送给过来的指令数据, ngx_read_channel
                      是利用recvmsg实现，详细介绍见《unix网络编程》
 */
      n = ngx_read_channel(c->fd, &ch, sizeof(ngx_channel_t), ev->log);
/*
    判断command的值，从而采取具体的动作，代码意图都写得很明显，
                         就不在这里多说了。
*/
      switch (ch.command) {
      case NGX_CMD_QUIT:
          ngx_quit = 1;
          break;
      case NGX_CMD_TERMINATE:
          ngx_terminate = 1;
          break;
      case NGX_CMD_REOPEN:
          ngx_reopen = 1;
          break;
      case NGX_CMD_OPEN_CHANNEL:
          ngx_processes[ch.slot].pid = ch.pid;
          ngx_processes[ch.slot].channel[0] = ch.fd;
          break;
      case NGX_CMD_CLOSE_CHANNEL:
          if (close(ngx_processes[ch.slot].channel[0]) == -1) {
              ngx_log_error(NGX_LOG_ALERT, ev->log, ngx_errno,
                            "close() channel failed");
          }
          ngx_processes[ch.slot].channel[0] = -1;
          break;
      }

/* 读出master进程发送给过来的指令数据, ngx_read_channel 是利用recvmsg实现，详细介绍见《unix网络编程》 */ n = ngx_read_channel(c->fd, &ch, sizeof(ngx_channel_t), ev->log); /* 判断command的值，从而采取具体的动作，代码意图都写得很明显， 就不在这里多说了。 */ switch (ch.command) { case NGX_CMD_QUIT: ngx_quit = 1; break; case NGX_CMD_TERMINATE: ngx_terminate = 1; break; case NGX_CMD_REOPEN: ngx_reopen = 1; break; case NGX_CMD_OPEN_CHANNEL: ngx_processes[ch.slot].pid = ch.pid; ngx_processes[ch.slot].channel[0] = ch.fd; break; case NGX_CMD_CLOSE_CHANNEL: if (close(ngx_processes[ch.slot].channel[0]) == -1) { ngx_log_error(NGX_LOG_ALERT, ev->log, ngx_errno, "close() channel failed"); } ngx_processes[ch.slot].channel[0] = -1; break; }

 Nginx中关于整个channel的实现就这么简单，没有什么多余的事情。