非抢占式RCU实现(二),解释:为什么 RCU_NEXT_SIZE 宏值是4?

参考:2.6.34

一个很奇怪的问题。

没有查找到为什么 RCU_NEXT_SIZE的值为4的原因(包括Documentation),主要是在rcu_state中定义了一个四级的list,感到很有意思。

我给出自己的解释。

还是看下代码吧,容易解释:

=========================================================

引入nxtlist与 RCU_NEXT_RCU_DONE_TAIL

static void rcu_do_batch(struct rcu_state *rsp, struct rcu_data *rdp)                                              
    |---->if(!cpu_has_callbacks_ready_to_invoke(rdp))
    |-----      return  
    |-----看下cpu_has_callbacks_ready_to_invoke的实现
    |-----      |---- return &rdp->nxtlist != 
    |-----      |-----       rdp->nxttail[RCU_DONE_TAIL];
    |-----......
    |----rdp->nxtlist = *rdp->nxttail[RCU_DONE_TAIL];
    |-----......

  从rcu_do_batch的实现可以看出,首先rcu_do_batch在 RCU_SOFTIRQ的软中断是一定会被执行的,只是在入口处判定是否需要实质性地操作链表,如果 &rdp->nxtlist != rdp->nxttail[RCU_DONE_TAIL] 成立则不会继续运行,即该次软中断在rcu_do_batch中是不会执行实质性内容的(但是千万不要认为在该次软中断中,没有操作链表上的函数就没有执行关键任务,rcu_progress_gp_end, rcu_check_quiescent_state都在软中断被执行了)。

在rcu_data结构体中引入
nxtlistRCU_NEXT_RCU_DONE_TAIL的目的很清楚:
    nxtlist保存待处理的链表头,而*nxttail[RCU_NEXT_RCU_DONE_TAIL]中还保存着下次本核结束某个grace period时需要操作
的链表的头,如果两者相等,则进入rcu_do_batch后将立即退出。

=========================================================

=========================================================

引入RCU_NEXT_TAIL

static __call_rcu(struct rcu_head *head, void (*func)(struct rcu_head *rcu),
                  struct rcu_state *rsp)
   |----......
   |----*rdp->nxttail[RCU_NEXT_TAIL] = head;
   |----rdp->nxttail[RCU_NEXT_TAIL] = &head->next;
   |----......

作用:缓存!(单链表,存储最后可插入节点的位置)

=========================================================

=========================================================

引入RCU_NEXT_READY_TAILRCU_NEXT_TAIL
这两个很容易混淆

static void __rcu_process_callbacks(struct rcu_state *rsp, struct rcu_data *rdp)
    |----......
    |----rcu_check_quiescent_state(rsp, rdp);
         |----......
         |
         |通过了quiescent state,调用rcu_report_qs_rdp
         |----rcu_report_qs_rdp(rdp->cpu, rsp, rdp, rdp->passed_quiesc_completed)
              |----......
              |----rdp->nxttail[RCU_NEXT_READY_TAIL] =
              |----     rdp->nxttail[RCU_NEXT_TAIL]

通过了rcu_check_quiecent_state()中的检查,知道该核通过了quiescent state,因此设置rdp->nxttail[RCU_NEXT_READY_TAIL] = rdp->nxttail[RCU_NEXT_TAIL],而RCU_NEXT_TAIL是每次添加链表的缓存地址,因此可以判定RCU_NEXT_READY_TAIL是存储该核下次通过grace period时需被调用的链表头的地址(有点不妥,见下文)为什么是这样?虽然该核已经上报通过了quiescent state,但是该次grace period的运行结束是由最后一个通过quiescent state的所决定的,如果仍有其它核自开启该次grace period后没有通过quiescent state,那么只能返回,以后添加的的链表元数自然也就只能在下次grace period中被调用)。

不禁会问:RCU_NEXT_TAIL有什么用?
    先说明:本核上rcu_data中挂接的链表元素,只有两种情况可被处理
           (1)超时:

                if(ULONG_CMP_LT(rsp->jiffies_force_qs), jiffies)
                        force_quiescent_state(rsp, 1);

           (2)该核结束了由某个核开启的grace period:

                    rcu_node检测到该核是最后一个上报通过quiescent state的核.

    描述个场景:A核开启了grace period,B核在系统初始化后上挂了好几个链表节点,A、C、D核先后通过了quiescent state,B核最后通过quiescent state,则B核是最终结束该grace period的核,B核最终将在rcu_do_batch()中处理链表。

     问题:在于B核应该执行链表上的RCU_DONE_TAIL至RCU_NEXT_READY_TAIL的所有任务吗?
     回答:不能。

    原因:B核尽管在rcu_report_qs_rdp中执行了rdp->nxttail[RCU_NEXT_READY_TAIL] = rdp->nxttail[RCU_NEXT_TAIL],但是我们显然的看到由于该grace period并由非B核开启,因此我们无法判断在B核添加链表时其它核是否通过了quiescent state,如果其它核已经通过了quiescent state,对于此后在B核上挂接的链表,如果在该grace period被B核终止后即被调用处理显然是错的。

     如何解决:引入RCU_WAIT_TAIL

B核终止了一个非本身开启的grace period,而后:

rcu_report_qs_rnp(unsigned long mask, struct rcu_state *rsp,
            struct rcu_node *rnp, unsigned long flags)
    |----......
    |----rcu_report_qs_rsp(rsp, flags);
         |----......
         |----rcu_start_gp(rsp, flags);
         |    |----......
         |    |----rcu_start_gp_per_cpu(rsp, rnp, rdp);
         |    |    |----_rcu_process_gp_end(rsp, rnp, rdp);
         |    |    |    |----......
         |    |    |    |----rdp->nxttail[RCU_DONE_TAIL] = 
         |    |    |    |       rdp->nxttail[RCU_WAIT_TAIL];
         |    |    |    |----rdp->nxttail[RCU_WAIT_TAIL] = 
         |    |    |    |       rdp->nxttail[RCU_NEXT_READY_TAIL];
         |    |    |    |----rdp->nxttail[RCU_NEXT_READY_TAIL] = 
         |    |    |    |       rdp->nxttail[RCU_NEXT_TAIL];
         |    |    |    |----.......
         |    |    |----......
         |    |----......
         |----.......
    |----......

  可以看出在rcu_process_per_cpu中置:rdp->nxttail[RCU_DONE_TAIL] = rdp->nxttail[RCU_WAIT_TAIL],而非rdp->nxttail[RCU_NEXT_READY_TAIL]。

  个人认为,这样做可以防止——某个核终止了并非由该核开启的grace period,而且该核在grace period时间段内在自己的链表中的添加了链表元素——在该次rcu_do_batch中,这些链表元素却被处理了。

=========================================================

关注TAIL指针的重点,在于

(1)主动开启grace period

(2)检测到有新的grace period,但是本核缺没有被动的开启grace period

 (3)检测grace period是否结束,及处理

(4)向rcu_node上报本核已发生quiescent state

在这4点处将推动TAIL指针的变化。

记住一点:某个核开启了grace period,但并不一定是该核来结束grace period,可能是自己,也可能是其它核。

posted on 2013-09-12 17:22  阿加  阅读(883)  评论(0编辑  收藏  举报

导航