ceph S3测试--cosbench
COSBench安装
Cosbench是Intel的开源云存储性能测试软件，COSBench目前已经广泛使用与云存储测试，并作为云存储的基准测试工具使用
1 环境
1.1 操作系统
COSBench可在windows和linux两种系统中运行，而为了更好的发挥硬件和系统的能力，建议在使用COSBench进行测试时，选择linux系统，目前我使用的环境是：ubuntu 12.04系统版本；
1.2 运行环境
JRE 1.7+
CURL
2 安装
2.1 支持环境安装
2.1.1 JRE
JRE安装，请参考JDK安装相关教程，这里省略。
2.1.2 CURL安装
在ubuntu系统中，使用apt-get install 直接进行安装
1. 使用 apt-get update对源进行更新
2. 更新之后，使用apt-get install curl进行安装
3 COSBench安装
3.1 下载
COSBench开源软件地址：https://github.com/intel-cloud/cosbench 需要的软件和说明这里都有记录；目前最新的版本是v0.4.2.c4 进入tag下载地址，下载ZIP包即可：
网址 https://github.com/intel-cloud/cosbench/releases/tag/v0.4.2.c4
在ubuntu系统中，直接使用wget下载即可：
wget https://github.com/intel-cloud/cosbench/releases/download/v0.4.2.c4/0.4.2.c4.zip
3.2 安装
待软件下载完毕后，使用unzip进行文件解压。unzip 0.4.2.c4.zip
解压完毕后，如下
进入到COSBench目录，将脚本添加可执行权限：
目录中，主要脚本的功能如下：
3.3 启动
在启动COSBench之前，运行 unset htt_proxy
启动COSBench只需要直接运行启动脚本即可：./start-all.sh
当出现如下的信息时，表示启动成功
在浏览器里面，输入当前的地址，即可浏览COSBench工作界面
http://IP:端口/controller/
如：
http://192.168.59.20:19088/controller/
centOS7测试流程：
第一步：
wget https://github.com/intel-cloud/cosbench/releases/download/v0.4.2.c4/0.4.2.c4.zip #下载软件，下载速度会很慢
下载解压后给执行权限 chmod +x ./*.sh
第二步：
搭建java1.7的运行环境
第三步：
到项目文件夹里面 执行 sh start-all.sh
[root@admin-node 0.4.2.c4]# ./start-all.sh Launching osgi framwork ... Successfully launched osgi framework! Booting cosbench driver ... Starting cosbench-log_0.4.2 [OK] . Starting cosbench-tomcat_0.4.2 [OK] Starting cosbench-config_0.4.2 [OK] Starting cosbench-http_0.4.2 [OK] Starting cosbench-cdmi-util_0.4.2 [OK] Starting cosbench-core_0.4.2 [OK] Starting cosbench-core-web_0.4.2 [OK] Starting cosbench-api_0.4.2 [OK] Starting cosbench-mock_0.4.2 [OK] Starting cosbench-ampli_0.4.2 [OK] Starting cosbench-swift_0.4.2 [OK] Starting cosbench-keystone_0.4.2 [OK] Starting cosbench-httpauth_0.4.2 [OK] Starting cosbench-s3_0.4.2 [OK] Starting cosbench-librados_0.4.2 [OK] Starting cosbench-scality_0.4.2 [OK] Starting cosbench-cdmi-swift_0.4.2 [OK] Starting cosbench-cdmi-base_0.4.2 [OK] Starting cosbench-driver_0.4.2 [OK] Starting cosbench-driver-web_0.4.2 [OK] Successfully started cosbench driver! Listening on port 0.0.0.0/0.0.0.0:18089 ... Persistence bundle starting... Persistence bundle started. ---------------------------------------------- !!! Service will listen on web port: 18088 !!! ---------------------------------------------- ====================================================== Launching osgi framwork ... Successfully launched osgi framework! Booting cosbench controller ... Starting cosbench-log_0.4.2 [OK] . Starting cosbench-tomcat_0.4.2 [OK] Starting cosbench-config_0.4.2 [OK] Starting cosbench-core_0.4.2 [OK] Starting cosbench-core-web_0.4.2 [OK] Starting cosbench-controller_0.4.2 [OK] Starting cosbench-controller-web_0.4.2 [OK] Successfully started cosbench controller! Listening on port 0.0.0.0/0.0.0.0:19089 ... Persistence bundle starting... Persistence bundle started. ---------------------------------------------- !!! Service will listen on web port: 19088 !!! ----------------------------------------------
如果执行结构如以上说明软件运行没问题
可以登录http://xx.xx.xx.xx:19088/controller/index.html #查看是否运行正常
可以查看进程是否运行
ps aux |grep java 或者 netstat -ant
[root@admin-node 0.4.2.c4]# netstat -ant Active Internet connections (servers and established) Proto Recv-Q Send-Q Local Address Foreign Address State tcp 0 0 0.0.0.0:80 0.0.0.0:* LISTEN tcp 0 0 0.0.0.0:22 0.0.0.0:* LISTEN tcp 0 0 127.0.0.1:25 0.0.0.0:* LISTEN tcp 0 52 10.101.0.102:22 10.101.0.8:62293 ESTABLISHED tcp6 0 0 :::19088 :::* LISTEN tcp6 0 0 :::80 :::* LISTEN tcp6 0 0 :::19089 :::* LISTEN tcp6 0 0 :::22 :::* LISTEN tcp6 0 0 ::1:25 :::* LISTEN tcp6 0 0 :::18088 :::* LISTEN tcp6 0 0 :::18089 :::* LISTEN tcp6 0 0 127.0.0.1:36108 127.0.0.1:18088 TIME_WAIT tcp6 0 0 127.0.0.1:36112 127.0.0.1:18088 TIME_WAIT tcp6 0 0 127.0.0.1:36110 127.0.0.1:18088 TIME_WAIT tcp6 0 0 10.101.0.102:19088 172.18.0.129:50836 TIME_WAIT
然后进入项目文件里面的conf文件夹：/opt/0.4.2.c4/conf
编辑s3-config-sample.xml
测试s3接口配置文件
<?xml version="1.0" encoding="UTF-8" ?>
<workload name="s3-sample" description="sample benchmark for s3">
<storage type="s3" config="accesskey=<accesskey>;secretkey=<scretkey>;proxyhost=<proxyhost>;proxyport=<proxyport>;endpoint=<endpoint>" />
<workflow>
<workstage name="init">
<work type="init" workers="1" config="cprefix=s3testqwer;containers=r(1,2)" />
</workstage>
<workstage name="prepare">
<work type="prepare" workers="1" config="cprefix=s3testqwer;containers=r(1,2);objects=r(1,10);sizes=c(64)KB" />
</workstage>
<workstage name="main">
<work name="main" workers="8" runtime="30">
<operation type="read" ratio="80" config="cprefix=s3testqwer;containers=u(1,2);objects=u(1,10)" />
<operation type="write" ratio="20" config="cprefix=s3testqwer;containers=u(1,2);objects=u(11,20);sizes=c(64)KB" />
</work>
</workstage>
<workstage name="cleanup">
<work type="cleanup" workers="1" config="cprefix=s3testqwer;containers=r(1,2);objects=r(1,20)" />
</workstage>
<workstage name="dispose">
<work type="dispose" workers="1" config="cprefix=s3testqwer;containers=r(1,2)" />
</workstage>
</workflow>
</workload>
第四步：
执行项目文件下面：
./cli.sh submit conf/s3-config-sample.xml #执行一个测试
可以在http://xx.xx.xx.xx:19088/controller/index.html 查看详细测试结果
