spymemcached 的 useNagle 问题与 TCP/IP延迟发送数据

先说一下结论。

如果你没有特意在 spymemcached 的 client bean definition 里配置 useNagleAlgorithm 属性为 True，

那么默认 spymemcached 是不启用 Nagle 算法的。

所以默认情况下不会引发恨少在《libmemcached的MEMCACHED_MAX_BUFFER问题》一文中提及的“shell脚本set 1000次8KB的item，只要3s左右，平均需要3ms。而C++版本则需要39s左右，平均耗时39ms……发现8KB的数据需要发送两次，两次write都是非常快的，但是等memcached返回时用了很多时间，主要的时间就耗费在这个地方”现象。咱们业务中心可以排除这个嫌疑。

 

什么是 Nagle 算法？

『

TCP/IP协议中，无论发送多少数据，总是要在数据前面加上协议头，同时，对方接收到数据，也需要发送ACK表示确认。为了尽可能地利用网络带宽，TCP总是希望尽可能地发送足够大的数据。（一个连接会设置MSS参数，因此，TCP/IP希望每次都能够以MSS尺寸的数据块来发送数据）。Nagle算法就是为了尽可能发送大块数据，避免网络中充斥着许多小数据块。

Nagle算法的基本定义是任意时刻，最多只能有一个未被确认的小段。 所谓“小段”，指的是小于MSS尺寸的数据块，所谓“未被确认”，是指一个数据块发送出去后，没有收到对方发送的ACK确认该数据已收到。

        Nagle算法的规则（可参考tcp_output.c文件里tcp_nagle_check函数注释）： 

      （1）如果包长度达到MSS，则允许发送；

      （2）如果该包含有FIN，则允许发送；

      （3）设置了TCP_NODELAY选项，则允许发送；

      （4）未设置TCP_CORK选项时，若所有发出去的小数据包（包长度小于MSS）均被确认，则允许发送； 

      （5）上述条件都未满足，但发生了超时（一般为200ms），则立即发送。

』——糊涂窗口综合症和Nagle算法

 

spymemcached 默认不启用 Nagle 算法

/net/spy/memcached/ConnectionFactoryBuilder.java 中定义如下：

/**

* Builder for more easily configuring a ConnectionFactory.

*/

public class ConnectionFactoryBuilder {

  protected boolean useNagle = false;

……

  public ConnectionFactoryBuilder(ConnectionFactory cf) {

……

    setUseNagleAlgorithm(cf.useNagleAlgorithm());

  }

  /**

* Set to true if you'd like to enable the Nagle algorithm.

*/

  public ConnectionFactoryBuilder setUseNagleAlgorithm(boolean to) {

    useNagle = to;

    return this;

  }

然后，转到 MemcachedConnection.java，说到底还是调用 socket 的 setTcpNoDelay 方法：

  protected List<MemcachedNode> createConnections(

……

      ch.socket().setTcpNoDelay(!this.connectionFactory.useNagleAlgorithm());

 

通过 bean definition 可设置 useNagleAlgorithm

参考 SpringIntegration 文档，spring 里配置如下：

<beanid="memcachedClient"class="net.spy.memcached.spring.MemcachedClientFactoryBean">……

   <propertyname="useNagleAlgorithm"value="false"/>
  </bean>

 

p.s.:

1）另一个常用的 memcached java client——xmemcached 从1.3.6版本开始也默认禁用了 Nagle 算法。

2）mongo-java-driver 默认也禁用 Nagle 算法（DBPort.java 63行）。

参考资源：

1）网络编程中Nagle算法和Delayed ACK的测试

2）火丁，2012，Memcached二三事儿；

3）2009， Issue 88:  Turn off TCP nagle can hugely improve performance；

 

---

 

1）55最佳实践系列：MongoDB最佳实践 (2012-12-15 15:48)
2）55最佳实践系列：Logging最佳实践 (2012-12-15 16:43)

3）最佳实践系列：前端代码标准和最佳实践 (2012-12-19 23:33)

---

1）电商课题I：Throttle Limits for calls/requests in a clustered environment (2012-11-17 22:14)

2）电商课题V：分布式锁 (2012-11-17 22:16)

3）电商课题：cookie防篡改 (2012-11-17 22:24)

4）电商课题VI：分布式Session (2012-11-17 22:30)

5）电商课题：RBAC权限控制 (2012-11-17 22:47)

6）电商课题：幂等性 (2012-11-22 23:52)

7）电商课题：客户端的IP地址伪造、CDN、反向代理、获取的那些事儿 (2012-09-19 01:17)

8）电商课题：对付秒杀器等恶意访问行为的简单梳理 (2012-09-18 03:51)

9）电商课题VII：支付交易一般性准则 (2012-12-14 01:38)

---

赠图几枚：