TCP拥塞控制算法内核实现剖析（二）
内核版本：2.6.37
主要源文件：linux-2.6.37/ net/ ipv4/ tcp_bic.c
本文主要分析BIC算法实现
======================================================================================================
1. 相关结构体和参数
/* BIC TCP Parameters */
struct bictcp {
u32 cnt ; /* increase cwnd by 1 after ACKs */
u32 last_max_cwnd ; /* last maximum snd_cwnd */
u32 loss_cwnd ; /* congestion window at last loss */
u32 last_cwnd ; /* the last snd_cwnd */
u32 last_time ; /* time when updated last_cwnd */
u32 epoch_start ; /* beginning of an epoch */
#define ACK_RATIO_SHIFT 4
u32 delayed_ack ; /* estimate the ratio of Packets/ACKs << 4 */
} ;
/* Scale factor beta calculation * max_cwnd = snd_cwnd * beta */ #define BICTCP_BETA_SCALE 1024 /* In binary search , * go to point (max+min) / N */ #define BICTCP_B 4 /*并不是真正的二分*/
2. 全局变量
static int fast_convergence = 1 ; /* BIC能快速的达到一个平衡值，开关*/
static int max_increment = 16 ; /* 每次增加的MSS 不能超过这个值，防止增长太过剧烈*/
static int low_window = 14 ; /* lower bound on congestion window , for TCP friendliness */
static int beta = 819 ; /* = 819 / 1024(BICTCP_BETA_SCALE) ，beta for multiplicative increase 。？*/
static int initial_ssthresh ; /* 初始的阈值 */
static int smooth_part = 20 ; /* log(B/(B*Smin))/log(B/(B-1))+B, # of RTT from Wmax-B to Wmax 。？*/
/* initial_ssthresh的初始值被设置成2^31-1=2147483647 */
bictcp结构体保存在：
struct inet_connection_sock {
...
u32 icsk_ca_priv[16] ;
#define ICSK_CA_PRIV_SIZE (16*sizeof(u32))
}
static inline void *inet_csk_ca( const struct sock *sk )
{
return (void *)inet_csk(sk)->icsk_ca_priv ;
}
============================================================================================================
tcp_is_cwnd_limited的实现没弄明白
/* Slow start with delack produces 3 packets of burst , so that it is
* safe "de facto". This will be default - same as the default reordering
* threshold - but if reordering increases , we must be able to allow
* cwnd to burst at least this much in order to not pull it back when
* holes are filled.
*/
static __inline__ __u32 tcp_max_burst ( const struct tcp_sock *sk )
{
return tp->reordering ;
}
/* u8 reordering ; Packets reordering metric */
/* RFC2681 Check whether we are limited by application or congestion
* window . This is the inverse of cwnd check in tcp_tso_should_defer
*/
/* 返回0，不需要增加cwnd ; 返回1，cwnd被限制，需要增加 */
int tcp_is_cwnd_limited ( const struct sock *sk , u32 in_flight )
{
const struct tcp_sock *tp = tcp_sk(sk) ;
u32 left ;
if( in_flight >= tp->snd_cwnd ) /* 不是规定in_flight < snd_cwnd ? */
return 1 ;
left = tp->snd_cwnd - in_flight ;
if( sk_can_gso(sk) &&
left * sysctl_tcp_tso_win_divisor < tp->snd_cwnd &&
left * tp->mss_cache < sk->sk_gso_max_size )
return 1 ;
return left <= tcp_max_busrt( tp ) ;
}
=============================================================================================================
3. bictcp拥塞避免
static void bictcp_cong_avoid ( struct sock *sk , u32 ack , u32 in_flight )
{
struct tcp_sock *tp = tcp_sk(sk) ;
struct bictcp *ca = inet_csk_ca(sk) ;
/* 如果发送拥塞窗口不被限制，不能再增加，则返回 */
if( !tcp_is_cwnd_limited(sk , in_flight))
return ;
if( tp->snd_cwnd < tp->snd_ssthresh )
tcp_slow_start( tp ) ;
else {
bictcp_update(ca , tp->snd_cwnd ) ;
tcp_cong_avoid_ai( tp , ca->cnt ) ;
}
}
从以上函数可以看出，BIC的慢启动和reno相同。在拥塞避免阶段，当snd_cwnd <= low_window ，两者也采用相同方法。
只有当snd_cwnd > low_window时，BIC才开始显示出它的特性。
在include/ net / tcp.h中，
/* TCP timestamps are only 32-bits */
#define tcp_time_stamps ((__u32)(jiffies))
4. bictcp结构体的更新（BIC算法关键）
/*
* Compute congestion window to use.
*/
static inline void bictcp_update( struct bictcp *ca , u32 cwnd )
{
/* 31.25ms以内不更新ca！！！*/
if ( ca->last_cwnd == cwnd &&
(s32) ( tcp_time_stamp - ca->last_time) <= HZ / 32 )
return ;
ca->last_cwnd = cwnd ;
ca->last_time = tcp_time_stamp ;
if ( ca->epoch_start == 0 ) /* recording the beginning of an epoch */
ca->epoch_start = tcp_time_stamp ;
/* start off normal */
if( cwnd <= low_window ) { /*为了保持友好性*/
ca->cnt = cwnd ; /*这样14个以内的ack，可使snd_cwnd++ */
return ;
}
/* binary increase */
if ( cwnd < ca->last_max_cwnd ) { /*上次掉包前一个snd_cwnd */
__u32 dist = (ca->last_max_cwnd - cwnd) / BICTCP_B ; /* 四分之一 */
if ( dist > max_increment ) /* linear increase */
/*dist > 16，处于线性增长阶段，每收到16个ACK，会使snd_cwnd++ */
ca->cnt = cwnd / max_increment ;
else if ( dist <= 1U ) /* binary search increase */
/* dist <=1 ， ca->cnt=5*cwnd，会造成snd_cwnd增长极其缓慢，即处于稳定阶段 */
ca->cnt = (cwnd * smooth_part ) / BICTCP_B ;
else /* binary search increase */
/* 1 < dist <= 16 ，每收到dist个ACK，会使snd_cwnd++，故增长很快 */
ca->cnt = cwnd / dist ;
} else { /* 进入max_probing阶段 */
/* cwnd < ca->last_max_cwnd + 4 */
if ( cwnd < ca->last_max_cwnd + BICTCP_B )
/* ca->cnt = 5*cwnd ; slow start */
ca->cnt = (cwnd * smooth_part ) / BICTCP_B ;
else if ( cwnd < ca->last_max_cwnd + max_increment * ( BICTCP_B - 1))
/* 增长率从5/(3*cwnd)~47/(3*cwnd)，snd_cwnd的增长加快*/
ca->cnt = (cwnd * (BICTCP_B - 1)) /
(cwnd - ca->last_max_cwnd) ;
else
ca->cnt = cwnd / max_increment ;/* 增长率为16/cwnd ，更快 */
}
/* if in slow start or link utilization is very low */
if ( ca->loss_cwnd == 0 ) { /* 没有发生过丢包，所以snd_cwnd增长应该快点*/
if ( ca->cnt > 20 )/* increase cwnd 5% per RTT */
ca->cnt = 20 ;
}
/* 相当于乘与delayed_ack的百分比，delayed得越严重，则snd_cwnd应该增加越快*/
/* 这样有无delayed对snd_cwnd的影响不大*/
ca->cnt = (ca->cnt << ACK_RATIO_SHIFT) / ca->delayed_ack ;
/* ca->cnt cannot be zero */
if ( ca->cnt == 0)
ca->cnt = 1 ; }
5. 小结：
从以上函数可以看出，和reno相比，BIC在拥塞避免阶段snd_cwnd增长极快。
当ca->last_max_cwnd - snd_cwnd >= 4 时，snd_cwnd最快的增长率为 1/16 。
而当ca->last_max_cwnd - snd_cwnd <4 时，增长率非常低，可以使当前的snd_cwnd维持很长一段时间，
即以最合适的snd_cwnd发送数据。
这两点使BIC在高带宽、长时延的环境下能达到较高的吞吐量。
1. 搜索阶段
(1) cwnd < last_max_cwnd - 64， 则cnt = cwnd / 16
(2) last_max_cwnd - 64 <= cwnd < last_max_cwnd -4 ，则cnt = cwnd / dist
(3) last_max_cwnd - 4 <= cwnd < last_max_cwnd ，则cnt = 5*cwnd
总体来说，snd_cwnd增长先快后慢，趋于稳定。
2. max probing阶段
(1) last_max_cwnd <= cwnd < last_max_cwnd + 4，则cnt = 5*cwnd
(2) last_max_cwnd + 4 <= cwnd < last_max_cwnd + 48 ，则cnt = 3*cwnd / (cwnd - last_max_cwnd)
(3) cwnd >= last_max_cwnd + 48 ，则cnt = cwnd / 16
总体来说，snd_cwnd的增长先慢后快，越来越快。
=======================================================================================================
来看一下初始化和重置
static inline void bictcp_reset( struct bictcp *ca )
{
ca->cnt = 0 ;
ca->last_max_cwnd = 0 ;
ca->loss_cwnd = 0 ;
ca->last_cwnd = 0 ;
ca->last_time = 0 ;
ca->epoch_start = 0 ;
ca->delayed_ack = 2 << ACK_RATIO_SHIFT ; // 默认50%的delayed包
}
bictcp_reset在两种情况下被调用：初始化时（bictcp_init ）、进入拥塞处理时（bictcp_state 状态为TCP_CA_Loss）。
static void bictcp_init( struct sock *sk )
{
bictcp_reset( inet_csk_ca( sk) ) ;
/* 加载模块时设置了。否则，其值 = 2^31 - 1 */
if ( initial_ssthresh )
tcp_sk(sk)->snd_ssthesh = initial_ssthresh ;
}
=============================================================================================================
慢启动阈值调整
我们知道，对一个拥塞控制算法而言，有两个函数必不可少，除了上面分析过的bictcp_cong_avoid（拥塞避免），还有
bictcp_recalc_ssthresh（慢启动阈值重新计算）。RENO只是简单的把发生拥塞时的窗口除以2，而BIC则增加了一些东西。
/*
* behave like Reno until low_window is reached ,
* then increase congestion window slowly
*/
static u32 bictcp_recalc_ssthresh( struct sock *sk )
{
const struct tcp_sock *tp = tcp_sk(sk) ;
struct bictcp *ca = inet_csk_ca(sk) ;
ca->epoch_start = 0 ; /* end of epoch，平静的日子结束了 */
/* Wmax and fast convergence
* fast? 好像是更安全点吧。丢包点比上次低，说明恶化，则主动降低。
* 丢包点比上次高，则说明更好，当然采用更大的。
*/
if ( tp->snd_cwnd < ca->last_max_cwnd && fast_convergence )
/* 就是last_max_cwnd = 0.9 * snd_cwnd */
ca->last_max_cwnd = (tp->snd_cwnd * (BICTCP_BETA_SCALE + beta ))
/ ( 2 * BICTCP_BETA_SCALE ) ;
esle
ca->last_max_cwnd = tp->snd_cwnd ;
ca->loss_cwnd = tp->snd_cwnd ;
/* snd_cwnd<=14时，同reno，保持友好性 */
if ( tp->snd_cwnd <= low_window )
return max( tp->snd_cwnd >> 1U , 2U ) ;
esle
/* 就是snd_ssthresh=0.8*snd_cwnd ，很大的一个数，能充分利用带宽 */
return max( tp->snd_cwnd * beta ) / BICTCP_BETA_SCALE , 2U ) ;
}
bictcp_recalc_ssthresh做了两件事：重赋值last_max_cwnd、返回新的慢启动阈值。
特别值得注意的是，snd_ssthresh = 0.8 * snd_cwnd 。这个可比RENO的snd_ssthresh = 0.5 * snd_cwnd 大了很多。
所以说BIC能够更有效的利用大带宽。
=======================================================================================================
计算delayed packets ratio
/* Track delayed acknowledgement ratio using sliding window
* ratio = (15*ratio + sample) / 16
* sample是此时的cnt，而本来的ratio = delayed_ack / 16
* 按如下函数计算后，现在的ratio = (15*ratio) /16 + cnt /16
* cnt = cnt - 原来的ratio
*/
static void bictcp_acked( struct sock *sk , u32 cnt , s32 rtt )
{
const struct inet_connection_sock *icsk = inet_csk(sk) ;
if ( icsk->icsk_ca_state == TCP_CA_Open ) {
struct bictcp *ca = inet_csk_ca(sk) ;
/* 作者似乎很注重delayed包对snd_cwnd的影响，要尽量削弱 */
cnt -= ca->delayed_ack >> ACK_RATIO_SHIFT ;
ca->delayed_ack += cnt ;
}
}
在struct inet_connection_sock中，有__u8 icsk_ca_state，表示拥塞控制的状态。
在tcp.h中，
enum tcp_ca_state {
TCP_CA_Open = 0,
#define TCPF_CA_Open (1<<TCP_CA_Open)
TCP_CA_Disorder = 1,
#define TCPF_CA_Disorder (1<<TCP_CA_Disorder)
TCP_CA_CWR = 2,
#define TCPF_CA_CWR (1<<TCP_CA_CWR)
TCP_CA_Recovery = 3,
#define TCPF_CA_Recovery (1<<TCP_CA_Recovery)
TCP_CA_Loss = 4
#define TCPF_CA_Loss (1<<TCP_CA_Loss)
};
============================================================================================================
static u32 bictcp_undo_cwnd( struct sock *sk )
{
const struct tcp_sock *tp = tcp_sk(sk) ;
const struct bictcp *ca = inet_csk_ca(sk) ;
return max( tp->snd_cwnd , ca->last_max_cwnd ) ;
}
此函数在退出拥塞处理时调用，而下面的bictcp_state则是在进入拥塞处理时调用。
static void bictcp_state( struct sock *sk , u8 new_state )
{
if ( new_state == TCP_CA_Loss )
bictcp_reset( inet_csk_ca(sk) ) ;
}
============================================================================================================
bictcp算法结构体
static struct tcp_congestion_ops bictcp = {
. init = bictcp_init ,
. ssthresh = bictcp_recalc_ssthresh ,
. cong_avoid = bictcp_cong_avoid ,
. set_state = bictcp_state ,
. undo_cwnd = bictcp_undo_cwnd ,
. pkts_acked = bictcp_acked ,
. owner = THIS_MODULE ,
. name = "bic" ,
} ;
bictcp注册函数
static int __init bictcp_register(void)
{
/* bic算法的参数不能太多，多于16个u32 */
BUILD_BUG_ON( sizeof( struct bictcp) ) > ICSK_CA_PRIV_SIZE ) ;
return tcp_register_congestion_control( &bictcp ) ;
}
OK，关于BIC的代码分析告一段落，接下来看看相关函数是在什么样的情况下，以什么顺序来调用的。
======================================================================================================
BIC函数的调用时机
1. 连接每收到一个ack，则调用tcp_ack
2. tcp_ack会调用bictcp_acked，用来更新cnt和delayed_ack（用来消除delay包的影响）
3. tcp_ack会调用bictcp_cong_avoid，这是分两种情况：
（1）snd_cwnd小于慢启动阈值，处于慢启动阶段，则调用tcp_slow_start
（2）snd_cwnd大于慢启动阈值，处于拥塞避免阶段，则调用bictcp_update来更新bictcp，再调用tcp_cong_avoid_ai
4. tcp_ack中如果检测到丢包，进入拥塞处理阶段，则调用bictcp_recalc_ssthresh来更新慢启动阈值。
5. tcp_ack中完成丢包重传后，退出拥塞处理阶段，则调用bictcp_undo_cwnd来更新snd_cwnd。
快速重传：tcp_ack中的丢包检测，即检测到连续3个重复ACK。
快速恢复：bictcp_undo_cwnd，直接把snd_cwnd更新为max(snd_cwnd，last_max_cwnd)，和掉包前相差不大。
更具体的可以看看tcp_ack（net/ ipv4/ tcp_input.c）。
