Michael_Tong
近期目标:按时吃药,努力做个正常人。

在极限读场景下,对于客户端的网络监控如图:

 

在极限写场景下,对于NAS1网关的网络监控如图:

 

在极限写场景下,对于NAS2网关的网络监控如图:

 

在极限写场景下,对于客户端的网络监控如图:

 

在极限混合读写场景下,对于NAS1网关的网络监控如图:

 

在极限混合读写场景下,对于NAS2网关的网络监控如图:

 

在极限混合读写场景下,对于客户端的网络监控如图:

 

 

综合以上的测试结果,可以总结出下表:

 

 

 

 

 

 

Linux Samba NAS网关测试数据

单NAS网关

100Mb/s负载性能记录

NAS网关资源占用

稳定读

稳定写

稳定读

稳定写

CPU空闲

内存空闲

网卡占用

CPU空闲

内存空闲

网卡占用

1*3+3*2

4*3

96.70%

10G

127MB/S

85.70%

10G

180MB/S

50Mb/s负载性能记录

NAS网关资源占用

稳定读

稳定写

稳定读

稳定写

CPU空闲

内存空闲

网卡占用

CPU空闲

内存空闲

网卡占用

3*3+1*4

4*5

96.70%

10G

104MB/S

83.40%

10G

160MB/S

极限性能记录

NAS网关资源占用

极限读

极限写

极限读

极限写

CPU空闲

内存空闲

网卡占用

CPU空闲

内存空闲

网卡占用

4*1

4*1

94.50%

10G

195MB/S

79.60%

10G

201MB/S

极限混合读写

极限混合读写

CPU空闲

内存空闲

网卡占用

7读3写

86.40%

11G

134MB/S

双NAS网关

 

100Mb/s负载性能记录

NAS网关资源占用

稳定读

稳定写

稳定读

稳定写

CPU空闲

内存空闲

网卡占用

CPU空闲

内存空闲

网卡占用

NAS1

4*1

4*2

88.00%

10G

54MB/S

88.30%

10G

113MB/S

NAS2

2*1

4*2

87.10%

4.5G

32MB/S

87.80%

4.5G

108MB/S

 

50Mb/s负载性能记录

NAS网关资源占用

稳定读

稳定写

稳定读

稳定写

CPU空闲

内存空闲

网卡占用

CPU空闲

内存空闲

网卡占用

NAS1

4*2

4*4

98.10%

10G

57MB/S

88.30%

10G

109MB/S

NAS2

4*2

4*4

98.50%

4.5G

64MB/S

85.20%

4.5G

111MB/S

 

极限性能记录

NAS网关资源占用

极限读

极限写

极限读

极限写

CPU空闲

内存空闲

网卡占用

CPU空闲

内存空闲

网卡占用

NAS1

4*1

4*1

97.80%

4.5G

73MB/S

84.60%

4.5G

161MB/S

NAS2

4*1

4*1

97.60%

10G

92MB/S

90.80%

10G

136MB/S

 

极限混合读写

极限混合读写

CPU空闲

内存空闲

网卡占用

NAS1

7读3写

96.70%

10G

74MB/S

NAS2

7读3写

93.20%

4.5G

52MB/S

 

附录1:操作系统调优

 

对于操作系统,为了保证自身的运行稳定性和安全性,其相关的网络默认配置和系统内核默认配置都不足以达到Samba使用的最佳性能,以下为调优的参数内容:

  • /proc/sys/net/core/rmem_default 定义默认的接收窗口大小;
  • /proc/sys/net/core/rmem_max 定义接收窗口的最大大小;
  • /proc/sys/net/core/wmem_default 定义默认的发送窗口大小;
  • /proc/sys/net/core/wmem_max 定义发送窗口的最大大小;
  • /proc/sys/net/ipv4/tcp_window_scaling  启用 RFC 1323 定义的 window scaling;要支持超过 64KB 的窗口,必须启用该值。
  • /proc/sys/net/ipv4/tcp_sack 启用有选择的应答(Selective Acknowledgment),这可以通过有选择地应答乱序接收到的报文来提高性能(这样可以让发送者只发送丢失的报文段);(对于广域网通信来说)这个选项应该启用,但是这会增加对 CPU 的占用。
  • /proc/sys/net/ipv4/tcp_fack 启用转发应答(Forward Acknowledgment),这可以进行有选择应答(SACK)从而减少拥塞情况的发生;这个选项也应该启用。
  • /proc/sys/net/ipv4/tcp_timestamps 以一种比重发超时更精确的方法来启用对 RTT 的计算;为了实现更好的性能应该启用这个选项。
  • /proc/sys/net/ipv4/tcp_mem 确定 TCP 栈应该如何反映内存使用;
  • /proc/sys/net/ipv4/tcp_wmem 为自动调优定义每个 socket 使用的内存;
  • /proc/sys/net/ipv4/tcp_rmem 与 tcp_wmem 类似,不过它表示的是为自动调优所使用的接收缓冲区的值。
  • /proc/sys/net/ipv4/tcp_low_latency 允许 TCP/IP 栈适应在高吞吐量情况下低延时的情况;这个选项应该禁用。
  • /proc/sys/net/ipv4/tcp_westwood 启用发送者端的拥塞控制算法,它可以维护对吞吐量的评估,并试图对带宽的整体利用情况进行优化;对于 WAN 通信来说应该启用这个选项。
  • /proc/sys/net/ipv4/tcp_bic 为快速长距离网络启用 Binary Increase Congestion;这样可以更好地利用以 GB 速度进行操作的链接;对于 WAN 通信应该启用这个选项。

根据上述描述,本文中采用的网络参数和系统内核参数如下:

kernel.shmall = 2097152

kernel.shmmax = 12884901888

kernel.shmmni = 4096

kernel.sem = 250 32000 100 128

fs.file-max = 65536

net.ipv4.ip_local_port_range = 1024 65000

net.core.rmem_default = 262144

net.core.rmem_max = 262144

net.core.wmem_default = 262144

net.core.wmem_max = 262144

 

附录2:Samba调优

 

Samba服务具有很多有关于传输性能的隐藏参数,参考官方手册,得到以下几个比较关键的参数:

  • follow symlinks  此参数在Windows平台不支持这种符号连接,我也不需要在共享里有这个东西,所以关闭
  • wide links,关闭此参数
  • oplocks和locking这两个决定samba是否对文件进行lock测试,如果一个用户以write方式打开了这个文件,那么其它用户就不能再以write打开,这两个东西很费内存,也同样会降低samba的性能。 另外,我有很多个share,其中只有两个是所有人都可以写的,其它的都只有一个用户能写,对于后者,不需要打开这个,因为共享设计就是别人无法写。 那么就在global里面把这几个和lock有关的参数关掉,在那两个所有人可以写的share再打开。

# Some otherperformace tuning options
# disable links and symbol links
    follow symlinks = no
    wide links = no
    strict locking = no
    fake oplocks = yes
    oplocks = no

 

附录3:SNFS调优

 

使用文件系统自带的mount命令进行挂载时。文件系统占用操作系统的内存使用空间有限,由于此次测试的服务器配置较高,所以将内存使用调高。使用如下命令mount

mount.cvfs -t cvfs -o cachebufsize=524288snfs1 /stornext/snfs1

 

posted on 2018-01-30 20:49  Michael_Tong唐唐  阅读(1022)  评论(0编辑  收藏  举报