epoll的ET和LT模式比较 - 源码分析
eventpoll是一种文件,它实现了一种机制利用一条rdllist队列来避免阻塞地进行poll。eventpoll归根到底还是在使用poll。而ET比LT高效,并不在于是否使用了poll,更不能说是因为LT使用了poll。通过阅读源代码就可以清楚看到对 ET 和 LT 处理的区别仅有一处,其余都相同。其实两者都在使用poll,只不过 ET 可避免多次在epoll_wait对不确定的rdllist进行重复poll检测。
首先来看sys_poll,f_op->poll 和 eventpoll 文件的关系。
sys_poll 可以通过wait机制,由被poll的文件的具体文件系统在文件发生状态变化时,通过wait设定的回调函数唤醒阻塞在poll的任务。
而eventpoll 则是不阻塞地使用wait机制,它使用ep_poll_callback作为wait的回调函数,让被poll的文件的具体文件系统在文件发生状态变化时,通过这个ep_poll_callback将自身关联epi链入到 eventpoll文件的 rdllist 中去。
对一个文件sys_poll时,会使用__poll_wait回调函数来阻塞等待事件唤醒。而将一个文件sys_epoll_ctl添加进eventpoll时,会使用ep_poll_callback实现异步的poll。
这里要区分sys_poll和file_operations->poll,阻塞是因为sys_poll执行poll_schedule_timeout(),而file_operations->poll只是建立wait机制的使用(,但是我们不可能绕开sys_poll直接去使用具体文件系统的poll)。所以eventpoll才可以有别于sys_poll进行异步的poll(,不去阻塞等待),也就是说sys_poll使用阻塞的政策,epoll_ctl的EPOLL_CTL_ADD使用异步的政策。实际两者同样都在使用wait机制的回调。
sys_epoll_wait只是关心eventpoll的rdllist队列是否为空,并且还必须对rdllist队列里面每一个关联的文件使用poll检测进行最终筛选。
而et 和 lvl-tri模式的唯一不同的处理则只是在sys_epoll_wait过程中。
调用路径为:
sys_epoll_wait() > ep_send_evnets() > ep_scan_ready_list() > ep_send_events_proc()
et 和 lvl-tri 模式的差异,仅仅是因为 ep_send_events_proc 一个小动作,影响了下一次的ep_scan_ready_list 处理。
下面是ep_scan_ready_list的处理流程,从流程清楚可以找出差异来。
0. ep_scan_ready_list 将rdllist 截出来收集到txlist
1. 当ep_scan_ready_list进行ep_send_events_proc时,ep_poll_callback (使用wait机制对文件进行poll的异步回调) 将epi (一个文件关系到eventpoll的结构)链入到 ovflist
2. 否则ep_poll_callback将epi 链入到 rdllist
3. ep_send_events_proc 将对txlist的每个epi的进行poll检测状态
如果满足状态
a. 发送到用户空间,
b. 并将 非EPOLLET的 epi 重新链入 rdllist
* 差异就在这里,对于LT模式下次还得通过poll进行筛选,即使你已经将文件的读缓冲读完了。
4. 在ep_scan_readly_list结束ep_send_events_proc后,会收集 ovflist 到 rdllist
5. 将未能写到用户空间的 txlist合并回rdllist
试想下面的情景:
当从epoll_wait取得事件后,同样都将读事件的文件的缓冲读完,并且没有写入发生时,再次进入epoll_wait。
在 et模式下,这个文件不会出现在eventpoll文件的rdllist中。
而 lvl-tri模式下,尽管这个文件已经不可能是POLLIN状态了,但下一次epoll_wait时,必须进行一次poll检测状态后从而筛选掉。
这个情景中,et模式比lvl-tri模式少了一次file_operations->poll检测,所以比较起来就有效得多了。
当有N个文件,M次读事件条件下,lvl-tri就可能会浪费N*M次poll检测。
但不论et模式还是lvl-tri模式,epoll_wait都必须对rdllist队列中每一个对应的文件使用poll检测进行筛选。
static int ep_send_events_proc(struct eventpoll *ep, struct list_head *head, void *priv) { struct ep_send_events_data *esed = priv; int eventcnt; unsigned int revents; struct epitem *epi; struct epoll_event __user *uevent; struct wakeup_source *ws; poll_table pt; init_poll_funcptr(&pt, NULL); /* * We can loop without lock because we are passed a task private list. * Items cannot vanish during the loop because ep_scan_ready_list() is * holding "mtx" during this call. */ for (eventcnt = 0, uevent = esed->events; !list_empty(head) && eventcnt < esed->maxevents;) { epi = list_first_entry(head, struct epitem, rdllink); /* * Activate ep->ws before deactivating epi->ws to prevent * triggering auto-suspend here (in case we reactive epi->ws * below). * * This could be rearranged to delay the deactivation of epi->ws * instead, but then epi->ws would temporarily be out of sync * with ep_is_linked(). */ ws = ep_wakeup_source(epi); if (ws) { if (ws->active) __pm_stay_awake(ep->ws); __pm_relax(ws); } list_del_init(&epi->rdllink); revents = ep_item_poll(epi, &pt); // 调用f_op->poll,但不是sys_poll /* * If the event mask intersect the caller-requested one, * deliver the event to userspace. Again, ep_scan_ready_list() * is holding "mtx", so no operations coming from userspace * can change the item. */ if (revents) { if (__put_user(revents, &uevent->events) || __put_user(epi->event.data, &uevent->data)) { list_add(&epi->rdllink, head); ep_pm_stay_awake(epi); return eventcnt ? eventcnt : -EFAULT; } eventcnt++; uevent++; if (epi->event.events & EPOLLONESHOT) epi->event.events &= EP_PRIVATE_BITS; else if (!(epi->event.events & EPOLLET)) { /* * If this file has been added with Level * Trigger mode, we need to insert back inside * the ready list, so that the next call to * epoll_wait() will check again the events * availability. At this point, no one can insert * into ep->rdllist besides us. The epoll_ctl() * callers are locked out by * ep_scan_ready_list() holding "mtx" and the * poll callback will queue them in ep->ovflist. */ list_add_tail(&epi->rdllink, &ep->rdllist); ep_pm_stay_awake(epi); } } } return eventcnt; }
eventpoll是一个文件,同样可以使用sys_poll对其进行阻塞poll检测。
ep_scan_ready_list() 配合 ep_read_events_proc() 使用在eventpoll的file_operations->poll中。
(ep_scan_ready_list() 配合 ep_send_events_proc() 使用在epoll_wait)
用于eventpoll文件被poll
1. 检查rdllist中是否包含至少一个满足期望轮询到的状态。
2. 对rdllist中的每一个epi进行poll检测:
a. 满足就返回;
b. 不满足,顺便称出rdllist。