JAVA + LR实现apache流媒体的性能测试
一个视频点播系统，使用apache实现的流媒体服务器。
其实准确的说叫做伪流（HTTP Pseudo-Streaming），基本原理和概念自行了解吧。
让我简单的描述就是仍然是HTTP下载，播放器播放本地缓存。只不过它也实现了一些和正规流媒体服务类似的功能。
视频点播类系统的性能测试，说简单了主要就是模拟大量用户去看视频。
服务端监控整体性能，客户端关注各自表现。
这里难点主要在于如何模拟大量用户观看视频？如何判断各客户端展现？
多客户端的模拟无外乎3种方法：
1.全公司总动员，一起看。
2.一台机器开多个播放页面（或者是一个页面上嵌入多个播放器），调用多台机器。
3.抛弃客户端的解码播放过程，直接想法下载视频文件。
第一种方法不用说，虽然最真实，但太原始没有技术含量，如果是小公司人还不一定够。
第二种方法在需要测试的用户数不大时还可以，否则会占用较多资源，而且技术含量也较低。这种方式，一台机器上能模拟的用户数很有限，因为CPU会很快成为瓶颈。
第三种方法最高效，在千兆网环境下，一台机器可以模拟很多路用户，此时网络带宽是瓶颈（如果带宽更大，估计硬盘IO就是瓶颈了）。但是没有解码和播放，如何判断客户端的效果呢？两种方式，一是对比下载速度和码率，理论上只要下载速度足够就可以了；二是测试过程中也可以打开几个真实的播放窗口来验证播放效果，因为压力在服务端，可以认为每个客户端都是等价的。
本文要讲的就是第三种测试方法。
以前还测过FMS的流媒体，网上可以找到现成的工具来实现本方法，只要调用就可以了。
但HTTP的这次也搜了两天，好像还真没有，只好自己动手了。
看来最高效的方法，实现起来却是最麻烦的。
基本思路是JAVA实现下载功能，用LR的JAVA Vuser实现多用户的控制。
动手前先给自己整理了一个需求
|
功能： 测试结果： 功能扩展
|
打对钩的是已经实现了，带星号的是未实现、也不一定需要实现的高级功能。
通过测试程序，需要得到的结果是下载是否正确完成？下载速度是否足够？apache的限速模块是否起作用（如果开启）？
这里可能会有个问题，如果下载程序突破了apache的限速，那有可能是测试程序的问题，这就引出了上面的高级功能“伪装成播放器”。
下面直接贴代码，说明尽量放到注释里。
下载类，提供静态方法。
|
package com.test; import java.io.*; import java.net.*; import java.util.*;
public class DownloadFile {
/* *下载指定URL的文件 *userid是用于保存本地文件的标识 **/ public static int getHttpFileByUrl(String address, String userid) { int bufferSize = 1024; int size = 0; byte[] buf = new byte[bufferSize];
/* *下载时间字符串 *用于文件标识 *格式201210260130 **/ Date date = new Date(); SimpleDateFormat formatDate = new SimpleDateFormat("yyyyMMddHHmmss"); String downloadTime = formatDate.format(date);
/* *计算下载速度相关 */ int totalDownloadSize = 0; int lastDownloadSize = 0; long lastCheckTime = 0; long startDownloadTime = 0; int sec = 0;
/* *下载和计算过程 */ try { URL url = new URL(address); URLConnection conn = url.openConnection(); BufferedInputStream bis = new BufferedInputStream(conn.getInputStream()); FileOutputStream fos = new FileOutputStream("e:\\test\\testvideo" + "_" + downloadTime + "_" + userid);
System.out.println("File Size：" + conn.getContentLength()/1024 + "KB");
startDownloadTime = System.currentTimeMillis(); lastCheckTime = startDownloadTime;
while ((size = bis.read(buf)) != -1) { fos.write(buf,0,size); totalDownloadSize += size;
/* *计算每秒下载速度 */ if (System.currentTimeMillis() - lastCheckTime > 1000) { System.out.println(sec + ": " + (totalDownloadSize - lastDownloadSize)/1024 + "KB"); lastCheckTime = System.currentTimeMillis(); lastDownloadSize = totalDownloadSize; sec++; } }
System.out.println("Vuser " + userid + " Download Completed!"); System.out.println("Average Download Speed: " + (totalDownloadSize/1024)/((System.currentTimeMillis() - startDownloadTime)/1000) + "KB/s");
fos.close(); bis.close();
}catch (MalformedURLException e) { e.printStackTrace(); }catch (IOException e) { e.printStackTrace(); }
return totalDownloadSize/1024; } } |
测试驱动。
|
import com.test.*; import java.util.*; import java.io.*;
public class DownloadDrive {
public static void main (String[] args) {
//System.out.println("test"); //DownloadFile.test();
/* *调用者测量 *自行实现 */ int DownLoadSize = 0; double DownLoadTime = 0; int Speed = 0;
String url; ArrayList urlList = new ArrayList();
/* *读取待下载的URL地址 *保存到list中 */ try{ BufferedReader br = new BufferedReader(new FileReader("url.txt")); while((url = br.readLine()) != null){ urlList.add(url); } }catch(IOException ie){ ie.printStackTrace(); }
System.out.println("Total URLs: " + urlList.size());
/* *依次下载list中的文件 */ for(int i = 0; i < urlList.size(); i++){ url = (String)urlList.get(i); System.out.println(url); //传入url和每个调用者的标识 DownloadFile.getHttpFileByUrl(url, "1"); } }
} |
将待下载的URL保存到url.txt中，每行一个地址。文件放到DownloadDrive.class同目录中。
如
http://www.ospreypacks.com/user_manuals/S12_Kestrel_OM_SCh1.pdf
http://desktop.youku.com/youkuclient/youkuclient_setup.exe
http://download.get.live.cn/components/pinyin/EngkooPinyinSetup_1.0.382.02.exe
运行测试，结果如图
|
Total URLs: 3 http://www.ospreypacks.com/user_manuals/S12_Kestrel_OM_SCh1.pdf File Size：1979KB 0: 85KB 1: 333KB 2: 396KB 3: 370KB 4: 254KB 5: 318KB 6: 151KB 7: 7KB 8: 5KB 9: 11KB 10: 7KB 11: 7KB 12: 7KB 13: 7KB 14: 7KB Vuser 1 Download Completed! Average Download Speed: 116KB/s http://desktop.youku.com/youkuclient/youkuclient_setup.exe File Size：8970KB 0: 505KB 1: 253KB 2: 405KB 3: 210KB 4: 366KB 5: 325KB 6: 312KB 7: 352KB 8: 355KB 9: 288KB 10: 352KB 11: 185KB 12: 454KB 13: 341KB 14: 292KB 15: 354KB 16: 337KB 17: 379KB 18: 345KB 19: 194KB 20: 404KB 21: 281KB 22: 10KB 23: 511KB 24: 332KB 25: 258KB 26: 328KB Vuser 1 Download Completed! Average Download Speed: 299KB/s http://download.get.live.cn/components/pinyin/EngkooPinyinSetup_1.0.382.02.exe File Size：24290KB 0: 362KB 1: 273KB 2: 292KB 3: 329KB 4: 307KB 5: 325KB 6: 329KB 7: 295KB 8: 312KB 9: 295KB 10: 329KB 11: 332KB 12: 275KB 13: 271KB 14: 361KB 15: 313KB 16: 275KB 17: 372KB 18: 314KB 19: 369KB 20: 323KB 21: 350KB 22: 354KB 23: 340KB 24: 342KB 25: 349KB 26: 317KB 27: 354KB 28: 303KB 29: 345KB 30: 345KB 31: 354KB 32: 328KB 33: 330KB 34: 305KB 35: 304KB 36: 310KB 37: 352KB 38: 347KB 39: 286KB 40: 194KB 41: 292KB 42: 350KB 43: 286KB 44: 433KB 45: 330KB 46: 295KB 47: 319KB 48: 358KB 49: 301KB 50: 302KB 51: 304KB 52: 295KB 53: 312KB 54: 311KB 55: 280KB 56: 310KB 57: 304KB 58: 273KB 59: 320KB 60: 288KB 61: 294KB 62: 351KB 63: 354KB 64: 296KB 65: 354KB 66: 362KB 67: 361KB 68: 296KB 69: 329KB 70: 246KB 71: 411KB 72: 270KB 73: 327KB 74: 321KB Vuser 1 Download Completed! Average Download Speed: 299KB/s
Process completed. |
到这，主要代码已经实现了。下一步需要做的是和LR整合，用LR的Java Vuser对下载功能进行控制，模拟多用户。
其实也就是重写一个测试驱动，只不过这个驱动是需要LR内部方法了，应该没有什么技术上的难点了。
通过LoadRunner来实现多线程的模拟和控制。
新建LR的JAVA Vuser脚本，这里可以直接进行JAVA编码，又可以调用LR的内部方法，如事务、思考时间、集合点等等。到了这步已经没有任何难点了，开发人员只要花1个小时了解下LR的基本使用和常用方法即可，测试人员如果不会JAVA……那还是算了吧。
Action.java内容如下：
|
import lrapi.lr; import com.test.*; import java.util.*; import java.io.*;
public class Actions {
public int init() throws Throwable { return 0; }//end of init
public int action() throws Throwable {
/* 调用者测量 */ int downloadSize = 0; int downloadTime = 0; long startTime = 0; long endTime = 0; int speed = 0;
int vid; vid = lr.get_vuser_id();
/* 从url文件生成arraylist */ String url; ArrayList urlList = new ArrayList();
try{ BufferedReader br = new BufferedReader(new FileReader("url.txt"));
while((url = br.readLine()) != null){ urlList.add(url); } }catch(IOException ie){ ie.printStackTrace(); }
lr.enable_redirection(true); lr.set_debug_message(lr.MSG_CLASS_JIT_LOG_ON_ERROR, lr.SWITCH_OFF);
System.out.println("Total URLs: " + urlList.size());
for(int i = 0; i < urlList.size(); i++){ url = (String)urlList.get(i); System.out.println(url);
//事务名称 String trxName = "URL" + (i+1);
startTime = System.currentTimeMillis();
lr.start_transaction(trxName); //传入url和每个调用者的标识 downloadSize = DownloadFile.getHttpFileByUrl(url, Integer.toString(vid)); lr.end_transaction(trxName, lr.AUTO);
endTime = System.currentTimeMillis(); downloadTime = (int)(endTime - startTime)/1000; speed = downloadSize / downloadTime;
lr.output_message(trxName + ": completed"); lr.output_message("time cost: " + downloadTime + "s"); lr.output_message("average speed: " + speed + "KB/s"); lr.output_message("");
}
lr.set_debug_message(lr.MSG_CLASS_JIT_LOG_ON_ERROR, lr.SWITCH_ON);
return 0; }//end of action
public int end() throws Throwable { return 0; }//end of end } |
所有以lr开头的方法都是LR内部方法，这里只用到了事务、日志等几个。
编译之前我们的JAVA下载代码，将包（com.test）放入LR脚本的目录中，如图：
打开LR脚本，运行试一下。
可以看到正常输出了日志，再验证一下下载到的文件是否完整，找到输出路径，如“h:\test\testvideo_20121106194419_-1”，用播放器打开这个文件，正常播放。说明我们的脚本已经OK了，下面就要做多用户的测试了。
打开controller，设置同时运行2个VUSER（为了保证负载机的网络不成为瓶颈），运行场景。
可以看到，2个VUSER都按预期正常完成了。
从几个方面验证测试的有效性：
1是负载机的网络利用，上面单用户执行脚本时下载速度是5M/s（apache服务器做了限速），这次两个用户同时下载达到了10M。
2是每个VUSER的输出日志。
3是下载文件的完整性。
