mfs测试

续1

6. 参考文献:
6.1 文献
http://sery.blog.51cto.com/10037/263515  田逸
http://bbs.chinaunix.net/thread-1643863-1-1.html  ltgzs777  
http://www.moosefs.org/  官网
http://bbs.chinaunix.net/thread-1643015-1-2.html   测试工具


6.1  测试数据  

性能测试模型1  
一个不知道名字的哥们的测试结果,我先贴出来,那哥们看到了密我.

小文件性能测试


   

二级100*100文件夹


创建


列表


删除


         

单片15k.5
ext3
client单进程


real
0m0.762s
user
0m0.048s
sys
0m0.261s


real
0m0.179s
user
0m0.036s
sys
0m0.125s


real
0m0.492s
user
0m0.036s
sys
0m0.456s


         

单片15k.5
ext3
client 10并发进程


最长时间:
real
0m0.724s
user
0m0.015s
sys
0m0.123s


最长时间:
real
0m0.057s
user
0m0.006s
sys
0m0.025s


最长时间:
real
0m0.226s
user
0m0.010s
sys
0m0.070s


         

6chunkserver
cache
client
单进程


real
0m2.084s
user
0m0.036s
sys
0m0.252s


real
0m4.964s
user
0m0.043s
sys
0m0.615s


real
0m6.661s
user
0m0.046s
sys
0m0.868s


         

6chunkserver
cache
client 10
并发进程


最长时间:
real
0m1.422s
user
0m0.007s
sys
0m0.050s


最长时间:
real
0m2.022s
user
0m0.008s
sys
0m0.108s


最长时间:
real
0m2.318s
user
0m0.008s
sys
0m0.136s


         
                 
                 

二级1000*1000文件夹


创建


列表


删除


         

单片15k.5
ext3
client单进程


real
11m37.531s
user
0m4.363s
sys
0m37.362s


real
39m56.940s
user
0m9.277s
sys
0m48.261s


real
41m57.803s
user
0m10.453s
sys
3m11.808s


         

单片15k.5
ext3
client 10并发进程


最长时间:
real
11m7.703s
user
0m0.519s
sys
0m10.616s


最长时间:
real
39m30.678s
user
0m1.031s
sys
0m4.962s


最长时间:
real
40m23.018s
user
0m1.043s
sys
0m19.618s


         

6chunkserver
cache
client
单进程


real
3m17.913s
user
0m3.268s
sys
0m30.192s


real
11m56.645s
user
0m3.810s
sys
1m10.387s


real
12m14.900s
user
0m3.799s
sys
1m26.632s


         

6chunkserver
cache
client 10
并发进程


最长时间:
real
1m13.666s
user
0m0.328s
sys
0m3.295s


最长时间:
real
4m31.761s
user
0m0.531s
sys
0m10.235s


最长时间:
real
4m26.962s
user
0m0.663s
sys
0m13.117s


         
                 
                 

三级100*100*100文件夹


创建


列表


删除


         

单片15k.5
ext3
client单进程


real
9m51.331s
user
0m4.036s
sys
0m32.597s


real
27m24.615s
user
0m8.907s
sys
0m44.240s


real
28m17.194s
user
0m10.644s
sys
1m34.998s


         

单片15k.5
ext3
client 10进程


最长时间:
real
10m22.170s
user
0m0.580s
sys
0m11.720s


最长时间:
real
33m32.386s
user
0m1.127s
sys
0m5.280s


最长时间:
real
33m7.808s
user
0m1.196s
sys
0m10.588s


         

6chunkserver
cache
client
单进程


real
3m21.720s
user
0m3.089s
sys
0m26.635s


real
9m26.535s
user
0m3.901s
sys
1m11.756s


real
10m51.558s
user
0m4.186s
sys
1m26.322s


         

6chunkserver
cache
client 10
并发进程


最长时间:
real
1m23.023s
user
0m0.429s
sys
0m3.869s


最长时间:
real
4m10.617s
user
0m0.643s
sys
0m11.588s


最长时间:
real
4m20.137s
user
0m0.649s
sys
0m14.120s


         

6chunkserver
cache
client 50
并发进程


最长时间:
real
1m26.388s
user
0m0.074s
sys
0m0.679s


最长时间:
real
4m37.102s
user
0m0.132s
sys
0m2.160s


最长时间:
real
4m37.392s
user
0m0.132s
sys
0m2.755s


         

6chunkserver
cache
client 100
并发进程


最长时间:
real
1m29.338s
user
0m0.062s
sys
0m0.363s


最长时间:
real
4m54.925s
user
0m0.069s
sys
0m1.212s


最长时间:
real
4m35.845s
user
0m0.068s
sys
0m1.640s


         

6chunkserver
cache
remote
client 10
并发进程


最长时间:
real
4m0.411s
user
0m2.985s
sys
0m12.287s


最长时间:
real
8m31.351s
user
0m4.223s
sys
0m29.800s


最长时间:
real
4m3.271s
user
0m3.206s
sys
0m11.922s


         
                 
                 

三级100*100*100文件夹


1


2


3


4


5


     

变更日志/元数据大小


55M左右


60M左右


60M左右


60M左右


60M左右


     

连续创建耗时


real
4m0.411s
user
0m2.985s
sys
0m12.287s


real
4m12.309s
user
0m3.039s
sys
0m12.899s


real
4m14.010s
user
0m3.418s
sys
0m12.831s


real
4m14.214s
user
0m3.247s
sys
0m12.871s


real
4m14.417s
user
0m3.170s
sys
0m12.948s


     
                 

 

注:


单盘多进程性能没有提升,因为都在io wait,甚至增加进程会消耗大量调度时间


 
 

MFS多进程时性能会提升,主要性能消耗集中在CPU系统时间。因此实际海量小文件性能要大大强于本地文件系统



性能测试模型2 (感谢 qq群战友 痞子白 提供)
两个Client同时dd测试
数据块1M 文件大小20G
Client1 写:68.4MB/s  读:25.3MB/s
Client2 写:67.5MB/s  读:24.7MB/s
总吞吐:写:135.9MB/s 读:50.0MB/s

写命令:dd if=/dev/zero of=/mfs/test.1 bs=1M count=20000
读命令:dd if=/mfs/test.1 of=/dev/null bs=1M


7. 感谢
田逸
一个不知道名字的哥们(看到请联系我)



8. 附录
8.1  1000 * 1000 * 1 client 脚本
#!/bin/bash
for ((i=0;i<1000;i++))
do
    mkdir ${i}
    cd ${i}
    for ((j=0;j<1000;j++))
      do
        cp /mnt/test ${j}
      done
      cd ..
done
8.2  1000  * 1000  *  ( 100,200 ,1000 client )  脚本
#!/bin/bash
declare -f make_1000_dir_file
cd `pwd`
function make_1000_dir_file {
    start=${1}
    stop=${2}
    for ((i=${start};i<${stop};i++))
    do
        mkdir ${i}
        for ((j=0;j<1000;j++))
        do
            cp /mnt/test ${i}/${j}
        done
    done
}
i=1
while [ ${i} -le 1000 ]
do
    ((n=${i}+1))
    make_1000_dir_file ${i} $ &
    ((i=${i}+1))
done
wait

posted @ 2013-07-24 14:03  暗痛  阅读(710)  评论(0编辑  收藏  举报