Linux内核中网络数据包的接收-第二部分 select/poll/epoll

和前面文章的第一部分一样，这些文字是为了帮别人或者自己理清思路的。而不是所谓的源代码分析。想分析源代码的，还是直接debug源代码最好，看不论什么文档以及书都是下策。

因此这类帮人理清思路的文章尽可能的记成流水的方式，尽可能的简单明了。

Linux 2.6+内核的wakeup callback机制

Linux内核通过睡眠队列来组织全部等待某个事件的task，而wakeup机制则能够异步唤醒整个睡眠队列上的task，每个睡眠队列上的节点都拥有一个callback，wakeup逻辑在唤醒睡眠队列时，会遍历该队列链表上的每个节点，调用每个节点的callback，假设遍历过程中遇到某个节点是排他节点，则终止遍历。不再继续遍历后面的节点。整体上的逻辑能够用以下的伪代码表示：

睡眠等待

define sleep_list;
define wait_entry;
wait_entry.task= current_task;
wait_entry.callback = func1;
if (something_not_ready); then
    # 进入堵塞路径
    add_entry_to_list(wait_entry, sleep_list);
go on:  
    schedule();
    if (something_not_ready); then
        goto go_on;
    endif
    del_entry_from_list(wait_entry, sleep_list);
endif
...

唤醒机制

something_ready;
for_each(sleep_list) as wait_entry; do
    wait_entry.callback(...);
    if(wait_entry.exclusion); then
        break;
    endif
done

我们仅仅须要狠狠地关注这个callback机制，它能做的事真的不止select/poll/epoll，Linux的AIO也是它来做的，注冊了callback。你差点儿能够让一个堵塞路径在被唤醒的时候做不论什么事情。

一般而言，一个callback里面都是以下的逻辑：

common_callback_func(...)
{
    do_something_private;
    wakeup_common;
}

当中。do_something_private是wait_entry自己的自己定义逻辑，而wakeup_common则是公共逻辑。旨在将该wait_entry的task增加到CPU的就绪task队列，然后让CPU去调度它。

       如今留个思考，假设实现select/poll，应该在wait_entry的callback上做什么文章呢？
       .....

select/poll的逻辑

要知道，在大多数情况下。要高效处理网络数据，一个task通常会批量处理多个socket，哪个来了数据就去读那个，这就意味着要公平对待全部这些socket，你不可能堵塞在不论什么socket的“数据读”上，也就是说你不能在堵塞模式下针对不论什么socket调用recv/recvfrom，这就是多路复用socket的实质性需求。

       假设有N个socket被同一个task处理。怎么完毕多路复用逻辑呢？非常显然。我们要等待“数据可读”这个事件，而不是去等待“实际的数据”！。我们要堵塞在事件上，该事件就是“N个socket中有一个或多个socket上有数据可读”，也就是说，仅仅要这个堵塞解除，就意味着一定有数据可读，意味着接下来调用recv/recvform一定不会堵塞！还有一方面。这个task要同一时候排入全部这些socket的sleep_list上，期待随意一个socket仅仅要有数据可读。都能够唤醒该task。
       那么，select/poll这类多路复用模型的设计就显而易见了。

       select/poll的设计非常easy。为每个socket引入一个poll例程，该历程对于“数据可读”的推断例如以下：

poll()
{
    ...
    if (接收队列不为空) {
        ev |= POLL_IN;
    }
    ...
}

当task调用select/poll的时候。假设没有数据可读。task会堵塞。此时它已经排入了全部N个socket的sleep_list，仅仅要有一个socket来了数据，这个task就会被唤醒，接下来的事情就是

for_each_N_socket as sk; do
    event.evt = sk.poll(...);
    event.sk = sk;
    put_event_to_user;
done;

可见。仅仅要有一个socket有数据可读，整个N个socket就会被遍历一遍调用一遍poll函数。看看有没有数据可读，其实，当堵塞在select/poll的task被唤醒的时候，它根本不知道详细socket有数据可读。它仅仅知道这些socket中至少有一个socket有数据可读。因此它须要遍历一遍。以示求证。遍历完毕后。用户态task能够依据返回的结果集来对有事件发生的socket进行读操作。
       可见。select/poll非常原始，假设有100000个socket(夸张吗？)，有一个socket可读，那么系统不得不遍历一遍...因此select仅仅限制了最多能够复用1024个socket，而且在Linux上这是宏控制的。select/poll仅仅是朴素地实现了socket的多路复用，根本不适合大容量网络server的处理场景。其瓶颈在于，不能随着socket的增多而战时扩展性。

epoll对wait_entry callback的利用

既然一个wait_entry的callback能够做随意事，那么是否能让其做的比select/poll场景下的wakeup_common很多其它呢？
       为此，epoll准备了一个链表。叫做ready_list，全部处于ready_list中的socket，都是有事件的，对于数据读而言。都是确实有数据可读的。

epoll的wait_entry的callback要做的就是，将自己自行增加到这个ready_list中去。等待epoll_wait返回的时候。仅仅须要遍历ready_list就可以。epoll_wait睡眠在一个单独的队列(single_epoll_waitlist)上，而不是socket的睡眠队列上。
       和select/poll不同的是，使用epoll的task不须要同一时候排入全部多路复用socket的睡眠队列，这些socket都拥有自己的队列，task仅仅须要睡眠在自己的单独队列中等待事件就可以，每个socket的wait_entry的callback逻辑为：

epoll_wakecallback(...)
{
    add_this_socket_to_ready_list;
    wakeup_single_epoll_waitlist;
}

为此。epoll须要一个额外的调用，那就是epoll_ctrl ADD。将一个socket增加到epoll table中，它主要提供一个wakeup callback，将这个socket指定给一个epoll entry，同一时候会初始化该wait_entry的callback为epoll_wakecallback。整个epoll_wait以及协议栈的wakeup逻辑例如以下所看到的：
协议栈唤醒socket的睡眠队列
1.数据包排入了socket的接收队列;。
2.唤醒socket的睡眠队列，即调用各个wait_entry的callback；
3.callback将自己这个socket增加ready_list；
4.唤醒epoll_wait睡眠在的单独队列。

自此。epoll_wait继续前行。遍历调用ready_list里面每个socket的poll历程，搜集事件。这个过程是例行的，由于这是不可缺少的，ready_list里面每个socket都有数据可读，做不了无用功，这是和select/poll的本质差别(select/poll中，即便没有数据可读。也要全部遍历一遍)。
       总结一下，epoll逻辑要做以下的例程：

epoll add逻辑

define wait_entry
wait_entry.socket = this_socket;
wait_entry.callback = epoll_wakecallback;
add_entry_to_list(wait_entry, this_socket.sleep_list);

epoll wait逻辑

define single_wait_list
define single_wait_entry
single_wait_entry.callback = wakeup_common;
single_wait_entry.task = current_task;
if (ready_list_is_empty); then
    # 进入堵塞路径
    add_entry_to_list(single_wait_entry, single_wait_list);
go on:  
    schedule();
    if (sready_list_is_empty); then
        goto go_on;
    endif
    del_entry_from_list(single_wait_entry, single_wait_list);
endif
for_each_ready_list as sk; do
    event.evt = sk.poll(...);
    event.sk = sk;
    put_event_to_user;
done;

epoll唤醒的逻辑

add_this_socket_to_ready_list;
wakeup_single_wait_list;

综合以上。能够给出以下的关于epoll的流程图。能够对照本文第一部分的流程图做比較

能够看出。epoll和select/poll的本质差别就是，在发生事件的时候，每个epoll item(也就是socket)都拥有自己单独的一个wakeup callback，而对于select/poll而言。仅仅有一个！这就意味着epoll中，一个socket发生事件，能够调用其独立的callback来处理它自身。从宏观上看，epoll的高效在于分离出了两类睡眠等待。一个是epoll本身的睡眠等待。它等待的是“随意一个socket发生事件”，即epoll_wait调用返回的条件，它并不适合直接睡眠在socket的睡眠队列上，假设真要这样，究竟睡谁呢？毕竟那么多socket...因此它仅仅睡自己。一个socket的睡眠队列一定要仅仅和它自己相关。因此还有一类睡眠等待是每个socket自身的，它睡眠在自己的队列上就可以。

epoll的ET和LT

是时候提到ET和LT了，最大的争议在于哪个性能高。而不是究竟怎么用。各种文档上都说ET高效，但其实，根本不是这样，对于实际而言，LT高效的同一时候。更安全。

两者究竟什么差别呢？

概念上的差别

ET：仅仅有状态发生变化的时候，才会通知。比方数据缓冲去从无到有的时候(不可读-可读)，假设缓冲区里面有数据，便不会一直通知。
LT：仅仅要缓冲区里面有数据。就会一直通知。
查了非常多资料，得到的答案无非就是相似上述的。然而假设看Linux的实现，反而让人对ET更加迷惑。什么叫状态发生变化呢？比方数据接收缓冲区里面一次性来了10个数据包，对照上述流程图。非常显然会调用10次的wakeup操作，是不是意味着这个socket要被增加ready_list 10次呢？肯定不是这种，第二个数据包到来调用wakeup callback时，发现该socket已经在ready_list了。肯定不会再加了，此时epoll_wait返回，用户读取了1个数据包之后。假设程序有bug。便不再读取了。此时缓冲区里面还有9个数据包。问题来了。此时假设协议栈再排入一个包，究竟是通知还是不通知呢？？依照概念理解，不会通知了，由于这不是“状态的变化”，可是其实在Linux上你试一下的话，发现是会通知的，由于仅仅要有包排入socket队列。就会触发wakeup callback，就会将socket放入ready_list中，对于ET而言，在epoll_wait返回前，socket就已经从ready_list中摘除了。因此，假设在ET模式下，你发现程序堵塞在epoll_wait了，并不能下结论说一定是数据包没有收完一个原因导致的。也可能是数据包确实没有收完，但假设此时来一个新的数据包。epoll_wait还是会返回的。尽管这并没有带来缓冲去状态的边沿变化。

       因此。对于缓冲区状态的变化。不能简单理解为有和无这么简单，而是数据包的到来和不到来。
       ET和LT是中断的概念，假设你把数据包的到来。即插入到socket接收队列这件事理解成一个中断事件，所谓的边沿触发不就是这个概念吗？

实现上的差别

在代码实现的逻辑上，ET和LT实现的差别在于LT一旦有事件则会一直加进ready_list。直到下一次的poll将其移出，然后在探測到感兴趣事件后再将其加进ready_list。由poll例程来推断是否有事件，而不是全然依赖wakeup callback，这是真正意义的poll。即不断轮询！也就是说。LT模式是全然轮询的，每次都会去poll一次。直到poll不到感兴趣的事件，才会休息。此时就仅仅有数据包的到来能够又一次依赖wakeup callback将其增加ready_list了。

在实现上。从以下的代码能够看出二者的差异。

epoll_wait
for_each_ready_list_item as entry; do
    remove_from_ready_list(entry);
    event = entry.poll(...);
    if (event) then
        put_user;
        if (LT) then
            # 以下一次poll的结论为结果
            add_entry_to_ready_list(entry);
        endif
    endif
done

性能上的差别

性能的差别主要体如今数据结构的组织以及算法上，对于epoll而言。主要就是链表操作和wakeup callback操作，对于ET而言，是wakeup callback将socket增加到ready_list，而对于LT而言。则除了wakeup callback能够将socket增加到ready_list之外，epoll_wait也能够将其为了下一次的poll增加到ready_list，wakeup callback中反而有更少工作量。但这并非性能差异的根本。性能差异的根本在于链表的遍历。假设有海量的socket採用LT模式，由于每次发生事件后都会再次将其增加ready_list。那么即便是该socket已经没有事件了。还是会用一次poll来确认。这额外的一次对于无事件socket没有意义的遍历在ET上是没有的。可是注意。遍历链表的性能消耗仅仅有在链表超长时才会体现，你认为千儿八百的socket就会体现LT的劣势吗？诚然。ET确实会降低数据可读的通知次数，但这其实并没有带来压倒性的优势。
       LT确实比ET更easy使用，也不easy死锁，还是建议用LT来正常编程。而不是用ET来偶尔炫技。

编程上的差别

epoll的ET在堵塞模式下，无法识别到队列空事件，从而仅仅是堵塞在单独一个socket的Recv而不是全部被监控socket的epoll_wait调用上。尽管不会影响代码的执行，仅仅要该socket有数据到来便好，可是会影响编程逻辑。这意味着解除了多路复用的武装，造成大量socket的饥饿。即便有数据了，也没法读。

当然，对于LT而言。也有相似的问题，可是LT会激进地反馈数据可读，因此事件不会轻易由于你的编程错误而被丢弃。
       对于LT而言，由于它会不断反馈，仅仅要有数据，你想什么时候读就能够什么时候读。它永远有“下一次poll”的机会主动探知是否有数据能够继续读。即便使用堵塞模式，仅仅要不要跨越堵塞边界造成其它socket饥饿。读多少数据均能够，可是对于ET而言，它在通知你的应用程序数据可读后。尽管新的数据到来还是会通知，可是你并不能控制新的数据一定会来以及什么时候来。所以你必须读全然部的数据才干离开，读全然部的时候意味着你必须能够探知数据为空，因此也就是说，你必须採用非堵塞模式，直到返回EAGIN错误。

给出几个ET模式下的tips

1.队列缓冲区的大小包含skb结构体本身的长度，230左右
2.ET模式下。wakeup callback中将socket增加ready_list的次数 >= 收到数据包的个数，因此
多个数据报足够快到达可能仅仅会触发一次epoll wakeup callback的成功回调，此时仅仅会将socket增加进ready_list一次
        =>造成队列满
                =>兴许的大报文加不进去
        =>瓶塞效应
        =>能够填补缓冲区剩余hole的小报文能够触发ET模式的epoll_wait返回。假设最小长度就是1，那么能够发送0长度的包引诱epoll_wait返回
            =>可是由于skb结构体的大小是固有大小，以上的引诱不能保证会成功。

3.epoll惊群，能够參考ngx的经验
4.epoll也可借鉴NAPI关中断的方案，直到Recv例程返回EAGIN或者错误发生，epoll的wakeup callback不再被调用。这意味着仅仅要缓冲区不为空。就算来了新的数据包也不会通知了。
a.仅仅要socket的epoll wakeup callback被调用，禁掉兴许的通知；
b.Recv例程在返回EAGIN或者错误的时候，開始兴许的通知。