非抢占式RCU实现(二),解释:为什么 RCU_NEXT_SIZE 宏值是4?
参考:2.6.34
一个很奇怪的问题。
没有查找到为什么 RCU_NEXT_SIZE的值为4的原因(包括Documentation),主要是在rcu_state中定义了一个四级的list,感到很有意思。
我给出自己的解释。
还是看下代码吧,容易解释:
=========================================================
引入nxtlist与 RCU_NEXT_RCU_DONE_TAIL
static void rcu_do_batch(struct rcu_state *rsp, struct rcu_data *rdp) |---->if(!cpu_has_callbacks_ready_to_invoke(rdp)) |----- return |-----看下cpu_has_callbacks_ready_to_invoke的实现 |----- |---- return &rdp->nxtlist != |----- |----- rdp->nxttail[RCU_DONE_TAIL]; |-----...... |----rdp->nxtlist = *rdp->nxttail[RCU_DONE_TAIL]; |-----......
从rcu_do_batch的实现可以看出,首先rcu_do_batch在 RCU_SOFTIRQ的软中断是一定会被执行的,只是在入口处判定是否需要实质性地操作链表,如果 &rdp->nxtlist != rdp->nxttail[RCU_DONE_TAIL] 成立则不会继续运行,即该次软中断在rcu_do_batch中是不会执行实质性内容的(但是千万不要认为在该次软中断中,没有操作链表上的函数就没有执行关键任务,rcu_progress_gp_end, rcu_check_quiescent_state都在软中断被执行了)。
在rcu_data结构体中引入
nxtlist与 RCU_NEXT_RCU_DONE_TAIL的目的很清楚:
nxtlist保存待处理的链表头,而*nxttail[RCU_NEXT_RCU_DONE_TAIL]中还保存着下次本核结束某个grace period时需要操作
的链表的头,如果两者相等,则进入rcu_do_batch后将立即退出。
=========================================================
=========================================================
引入RCU_NEXT_TAIL
static __call_rcu(struct rcu_head *head, void (*func)(struct rcu_head *rcu), struct rcu_state *rsp) |----...... |----*rdp->nxttail[RCU_NEXT_TAIL] = head; |----rdp->nxttail[RCU_NEXT_TAIL] = &head->next; |----......
作用:缓存!(单链表,存储最后可插入节点的位置)
=========================================================
=========================================================
引入RCU_NEXT_READY_TAIL和RCU_NEXT_TAIL
这两个很容易混淆。
static void __rcu_process_callbacks(struct rcu_state *rsp, struct rcu_data *rdp) |----...... |----rcu_check_quiescent_state(rsp, rdp); |----...... | |通过了quiescent state,调用rcu_report_qs_rdp |----rcu_report_qs_rdp(rdp->cpu, rsp, rdp, rdp->passed_quiesc_completed) |----...... |----rdp->nxttail[RCU_NEXT_READY_TAIL] = |---- rdp->nxttail[RCU_NEXT_TAIL]
通过了rcu_check_quiecent_state()中的检查,知道该核通过了quiescent state,因此设置rdp->nxttail[RCU_NEXT_READY_TAIL] = rdp->nxttail[RCU_NEXT_TAIL],而RCU_NEXT_TAIL是每次添加链表的缓存地址,因此可以判定RCU_NEXT_READY_TAIL是存储该核下次通过grace period时需被调用的链表头的地址(有点不妥,见下文)(为什么是这样?虽然该核已经上报通过了quiescent state,但是该次grace period的运行结束是由最后一个通过quiescent state的所决定的,如果仍有其它核自开启该次grace period后没有通过quiescent state,那么只能返回,以后添加的的链表元数自然也就只能在下次grace period中被调用)。
不禁会问:RCU_NEXT_TAIL有什么用?
先说明:本核上rcu_data中挂接的链表元素,只有两种情况可被处理
(1)超时:
if(ULONG_CMP_LT(rsp->jiffies_force_qs), jiffies) force_quiescent_state(rsp, 1);
(2)该核结束了由某个核开启的grace period:
rcu_node检测到该核是最后一个上报通过quiescent state的核.
描述个场景:A核开启了grace period,B核在系统初始化后上挂了好几个链表节点,A、C、D核先后通过了quiescent state,B核最后通过quiescent state,则B核是最终结束该grace period的核,B核最终将在rcu_do_batch()中处理链表。
问题:在于B核应该执行链表上的RCU_DONE_TAIL至RCU_NEXT_READY_TAIL的所有任务吗?
回答:不能。
原因:B核尽管在rcu_report_qs_rdp中执行了rdp->nxttail[RCU_NEXT_READY_TAIL] = rdp->nxttail[RCU_NEXT_TAIL],但是我们显然的看到由于该grace period并由非B核开启,因此我们无法判断在B核添加链表时其它核是否通过了quiescent state,如果其它核已经通过了quiescent state,对于此后在B核上挂接的链表,如果在该grace period被B核终止后即被调用处理显然是错的。
如何解决:引入RCU_WAIT_TAIL
B核终止了一个非本身开启的grace period,而后:
rcu_report_qs_rnp(unsigned long mask, struct rcu_state *rsp, struct rcu_node *rnp, unsigned long flags) |----...... |----rcu_report_qs_rsp(rsp, flags); |----...... |----rcu_start_gp(rsp, flags); | |----...... | |----rcu_start_gp_per_cpu(rsp, rnp, rdp); | | |----_rcu_process_gp_end(rsp, rnp, rdp); | | | |----...... | | | |----rdp->nxttail[RCU_DONE_TAIL] = | | | | rdp->nxttail[RCU_WAIT_TAIL]; | | | |----rdp->nxttail[RCU_WAIT_TAIL] = | | | | rdp->nxttail[RCU_NEXT_READY_TAIL]; | | | |----rdp->nxttail[RCU_NEXT_READY_TAIL] = | | | | rdp->nxttail[RCU_NEXT_TAIL]; | | | |----....... | | |----...... | |----...... |----....... |----......
可以看出在rcu_process_per_cpu中置:rdp->nxttail[RCU_DONE_TAIL] = rdp->nxttail[RCU_WAIT_TAIL],而非rdp->nxttail[RCU_NEXT_READY_TAIL]。
个人认为,这样做可以防止——某个核终止了并非由该核开启的grace period,而且该核在grace period时间段内在自己的链表中的添加了链表元素——在该次rcu_do_batch中,这些链表元素却被处理了。
=========================================================
关注TAIL指针的重点,在于:
(1)主动开启grace period
(2)检测到有新的grace period,但是本核缺没有被动的开启grace period
(3)检测grace period是否结束,及处理
(4)向rcu_node上报本核已发生quiescent state
在这4点处将推动TAIL指针的变化。
记住一点:某个核开启了grace period,但并不一定是该核来结束grace period,可能是自己,也可能是其它核。