nginx 源码学习笔记（十七）—— ngx_worker_process_cycle子进程执行

上一节主要讲解主进程如何开启子进程，并且讲解了主进程做的一些操作，这一节主要学习子进程处理函数ngx_worker_process_cycle

src/os/unix/ngx_process_cycle.c static void ngx_worker_process_cycle(ngx_cycle_t *cycle, void *data) { ngx_uint_t i; ngx_connection_t *c; //在master中，ngx_process被设置为NGX_PROCESS_MASTER ngx_process = NGX_PROCESS_WORKER; //初始化 ngx_worker_process_init(cycle, 1); ngx_setproctitle("worker process"); #if (NGX_THREADS) //暂不讲解线程代码 #endif for ( ;; ) { //如果进程退出,关闭所有连接 if (ngx_exiting) { c = cycle->connections; for (i = 0; i < cycle->connection_n; i++) { /* THREAD: lock */ if (c[i].fd != -1 && c[i].idle) { c[i].close = 1; c[i].read->handler(c[i].read); } } if (ngx_event_timer_rbtree.root == ngx_event_timer_rbtree.sentinel) { ngx_log_error(NGX_LOG_NOTICE, cycle->log, 0, "exiting"); ngx_worker_process_exit(cycle); } } ngx_log_debug0(NGX_LOG_DEBUG_EVENT, cycle->log, 0, "worker cycle"); //处理时间和计时 ngx_process_events_and_timers(cycle); //收到NGX_CMD_TERMINATE命令 if (ngx_terminate) { ngx_log_error(NGX_LOG_NOTICE, cycle->log, 0, "exiting"); //清理后进程退出，会调用所有模块的钩子exit_process ngx_worker_process_exit(cycle); } //收到NGX_CMD_QUIT命令 if (ngx_quit) { ngx_quit = 0; ngx_log_error(NGX_LOG_NOTICE, cycle->log, 0, "gracefully shutting down"); ngx_setproctitle("worker process is shutting down"); //如果进程没有"正在退出" if (!ngx_exiting) { //关闭监听socket，设置退出正在状态 ngx_close_listening_sockets(cycle); ngx_exiting = 1; } } //收到NGX_CMD_REOPEN命令，重新打开log if (ngx_reopen) { ngx_reopen = 0; ngx_log_error(NGX_LOG_NOTICE, cycle->log, 0, "reopening logs"); ngx_reopen_files(cycle, -1); } } }

 

下面来看一下子进程的初始化操作：

1.全局性的设置，根据全局的配置信息设置执行环境、优先级、限制、setgid、setuid、信号初始化等；

2.调用所有模块的钩子init_process；

src/os/unix/ngx_process_cycle.c for (i = 0; ngx_modules[i]; i++) { if (ngx_modules[i]->init_process) { if (ngx_modules[i]->init_process(cycle) == NGX_ERROR) { /* fatal */ exit(2); } } }

 

3.关闭不使用的socket，关闭当前worker的channel[0]句柄和其他worker的channel[1]句柄，当前worker会使用其他worker的channel[0]句柄发送消息，使用当前worker的channel[1]句柄监听可读事件：

src/os/unix/ngx_process_cycle.c for (n = 0; n < ngx_last_process; n++) { //遍历所有的worker进程 if (ngx_processes[n].pid == -1) { continue; } if (n == ngx_process_slot) { 如果是自己 continue; } if (ngx_processes[n].channel[1] == -1) { continue; } //关闭所有其他worker进程channel[1]句柄(用于监听) if (close(ngx_processes[n].channel[1]) == -1) { ngx_log_error(NGX_LOG_ALERT, cycle->log, ngx_errno, "close() channel failed"); } } //关闭自己的channel[0]句柄(用于发送信息) if (close(ngx_processes[ngx_process_slot].channel[0]) == -1) { ngx_log_error(NGX_LOG_ALERT, cycle->log, ngx_errno, "close() channel failed"); } //这也就是为什么，用其他worker的channel[0]句柄发消息 //用当前的worker的channel[1]句柄监听可读时间

 

4.在当前worker的channel[1]句柄监听可读事件：

if (ngx_add_channel_event(cycle, ngx_channel, NGX_READ_EVENT, ngx_channel_handler) == NGX_ERROR) { /* fatal */ exit(2); }

 

ngx_add_channel_event把句柄ngx_channel(当前worker的channel[1])上建立的连接的可读事件加入事件监控队列，事件处理函数为ngx_channel_hanlder(ngx_event_t *ev)。当有可读事件的时候，ngx_channel_handler负责处理消息，具体代码可以查看src/os/unix/ngx_channel.c,过程如下：

src/os/unix/ngx_process_cycle.c static void ngx_channel_handler(ngx_event_t *ev) { ngx_int_t n; ngx_channel_t ch; ngx_connection_t *c; if (ev->timedout) { ev->timedout = 0; return; } c = ev->data; ngx_log_debug0(NGX_LOG_DEBUG_CORE, ev->log, 0, "channel handler"); for ( ;; ) { //从channel[1]中读取消息 n = ngx_read_channel(c->fd, &ch, sizeof(ngx_channel_t), ev->log); ngx_log_debug1(NGX_LOG_DEBUG_CORE, ev->log, 0, "channel: %i", n); if (n == NGX_ERROR) { if (ngx_event_flags & NGX_USE_EPOLL_EVENT) { ngx_del_conn(c, 0); } ngx_close_connection(c); return; } if (ngx_event_flags & NGX_USE_EVENTPORT_EVENT) { if (ngx_add_event(ev, NGX_READ_EVENT, 0) == NGX_ERROR) { return; } } if (n == NGX_AGAIN) { return; } ngx_log_debug1(NGX_LOG_DEBUG_CORE, ev->log, 0, "channel command: %d", ch.command); //处理消息命令 switch (ch.command) { case NGX_CMD_QUIT: ngx_quit = 1; break; case NGX_CMD_TERMINATE: ngx_terminate = 1; break; case NGX_CMD_REOPEN: ngx_reopen = 1; break; case NGX_CMD_OPEN_CHANNEL: ngx_log_debug3(NGX_LOG_DEBUG_CORE, ev->log, 0, "get channel s:%i pid:%P fd:%d", ch.slot, ch.pid, ch.fd); ngx_processes[ch.slot].pid = ch.pid; ngx_processes[ch.slot].channel[0] = ch.fd; break; case NGX_CMD_CLOSE_CHANNEL: ngx_log_debug4(NGX_LOG_DEBUG_CORE, ev->log, 0, "close channel s:%i pid:%P our:%P fd:%d", ch.slot, ch.pid, ngx_processes[ch.slot].pid, ngx_processes[ch.slot].channel[0]); if (close(ngx_processes[ch.slot].channel[0]) == -1) { ngx_log_error(NGX_LOG_ALERT, ev->log, ngx_errno, "close() channel failed"); } ngx_processes[ch.slot].channel[0] = -1; break; } } }

 

总结：再看总结之前希望给位同学阅读了这一节和上一节的内容和代码：

该总结来自于http://blog.csdn.net/lu_ming/article/details/5151930 感谢作者无私奉献

    1． ngx_start_worker_processes()函数，这个函数按指定数目n，以ngx_worker_process_cycle()函数为参数调用ngx_spawn_process()创建work进程并初始化相关资源和属性；执行子进程的执行函数ngx_worker_process_cycle；向之前已经创建的所有worker广播当前创建的worker进程的信息；每个进程打开一个通道(ngx_pass_open_channel())。
        ngx_start_worker_processes()函数的主要逻辑如下：
       
        a)   首先要说明的是参数respawn有两种含义：type 即创建新进程式的方式，如NGX_PROCESS_RESPAWN, NGX_PROCESS_JUST_RESPAWN…,是负值；另一种表示进程信息表的下标，此时是非负；
        b)   查找ngx_processes[]进程信息表中一个空项；
        c)   若不是分离的子进程(respawn != NGX_PROCESS_DETACHED)，
            i)   创建一对已经连接的无名socket；
            ii)  设置socket(channel[0]和channel[1]))为非阻塞模式；
            iii) 开启channel[0]的消息驱动IO；
            iv)  设置channel[0]的属主，控制channel[0]的SIGIO信号只发给这个进程；
            v)   设置channel[0]和channel[1]的FD_CLOEXEC属性(进程执行了exec后关闭socket)；
            vi)  取得用于监听可读事件的socket(即ngx_channel = ngx_processes[s].channel[1];)；
        d)  分离的子进程时，ngx_processes[s].channel[0] = -1;
                ngx_processes[s].channel[1] = -1;
        e)  设置当前子进程的进程表项索引；ngx_process_slot = s;
        f)  创建子进程；
        g)  子进程式中，设置当前子进程的进程id，运行执行函数；
        h)  respawn >= 0时，直接返回pid;
        i)  设置其他的进程表项字段；
           ngx_processes[s].proc = proc;
           ngx_processes[s].data = data;
           ngx_processes[s].name = name;
           ngx_processes[s].exiting = 0;
        j)  根据respawn表示的类型，按不同方式设置表项。

创建socketpair用于进程间通信，master进程为每个worker创建一对socket， master进程空间打开所有socketpair的channel[0]，channel[1]两端句柄。 当创建一个worker的时候，这个worker会继承master当前已经创建并打开的所有socketpair，这个worker初始化的时候（调用ngx_worker_process_init）会关闭掉本进程对应socketpair的channel[0]和其他worker对应的channel[1]，保持打开本进程对应socketpair的channel[1]和其他worker对应的channel[0]，并监听本进程对应socketpair的channel[1]的可读事件。这样，每个worker就拥有了其他worker的channel[0]，可以sendmsg(channel[0], ...)向其他worker发送消息。
 
先于当前worker创建的worker通过继承得到了其channel[0],但是之后创建的进程的channel[0]该如何获得呢，答案在上面（ngx_start_worker_processes) master在创建并启动完成一个worker之后，会调用ngx_pass_open_channel 把这个worker的channel[0]和进程id、在进程表中的偏移slot广播(ngx_write_channel())给所有其他已经创建的worker，这样，创建完所有进程之后，每个worker就获得了所有其他worker的channel[0]了。
 
ngx_worker_process_cycle()函数是每个进程的实际工作内容。这个函数中首先调用ngx_create_thread()初始化各线程。我们知道每个线程都有一个启动处理函数，nginx的线程处理函数为ngx_worker_thread_cycle()，内部过程中最重要的是对ngx_event_thread_process_posted()函数的调用，用于实际处理每一次请求。
 
初始化线程结束后，首先调用ngx_process_events_and_timers()函数，该函数继续调用ngx_process_events接口监听事件，一般情况下对应的函数是ngx_epoll_process_events()，如果使用的是其它种 类的IO模型，则应该实现相应的实际函数。这个接口负责把事件投递到ngx_posted_events事件队列里，并在 ngx_event_thread_process_posted()函数中进行处理。

 

    2． ngx_start_cache_manager_processes()函数，这个函数在ngx_cycle全局对象的path数组中，检查是否有manager和loader函数。有manage函数，创建缓冲管理进程，打开相应的通道，负责管理工作；有loader函数，创建缓冲管理进程，打开相应通道，负责载入工作。
    
    3． ngx_pass_open_channel()函数，这个函数在全局的ngx_processes数组中所有pid不为-1，channel[0]不为-1的进程打开通道。也就是为创建的每个work进程打开一个通道，发送消息(ngx_write_channel())给工作进程。
    
    4． ngx_signal_worker_processes()函数，这个函数主要是向各个work进程发送一个信号。如果是ngx_signal_value(NGX_REOPEN_SIGNAL)信号，设ngx_processes中的标志exiting为1。
    
    5． ngx_reap_children()函数，这个函数清理要退出的进程。ngx_processes数组中每个项保存对应一个进程的信号，有pid，status，channel等。如果有子进程还没有退出exiting或! detached，则live设为1。
    
ngx_master_process_exit()函数，这个函数删除pid文件，接着调用模块中的exit_master钩子函数，销毁内存池。