数据库数据产生工具 DBMonster 应用详解
在进行某些侧重数据计算相关的应用（例如报表程序），或是在对一个应用进行负载和压力测试时，往往需要在数据库中产生大量的负载，对测试工程师来说，这个工作往往会不那么轻松。当然，从“现场数据库”中获得现有的数据作为测试基础数据是一个办法，但如果目前还得不到现场数据，或者，很难获得现场数据，那该怎么办呢？
答案只有一个——使用工具：）。这方面的商业工具有 Quest 公司的 DataFactory 工具，几乎可以产生任何你所需要的数据。不过，作为开源工具的提倡者，我今天要介绍的，是一个可用于这个目的的开源测试工具 DBMonster。DBMonster ( http://dbmonster.kernelpanic.pl )是一个Java的开源项目，通过JDBC方式连接数据库，因此可以在任何支持Java和JDBC的平台上运行。DBMonster开发的原意是为数据库开发者服务，可以协助产生大量的规则或不规则数据，便于数据库开发者基于这些数据进行数据库的调优。
DBMonster通过两个XML文件（配置文件 和 schema文件）控制数据产生的行为，配置文件指明需要连接的数据库、连接使用的用户名和口令、需要操作的sheme、重试次数等全局设置，而scheme文件则指明针对每张数据表的每个字段产生数据的规则。
DBMonster的下载和安装
DBMonster的下载和安装非常简单，直接从sourceforge上下载dbmonster-core，解压到本地的任一目录即可。如果需要DBMonster和Ant的集成，则还需下载dbmonster-ant。DBMonster的运行
DBMonser的运行也很简单，DBMonster解压后的bin目录中有dbmonster.bat和dbmonster文件，如果是在windows平台上，则可以直接运行dbmonster.bat文件；如果是在Unix平台上，则运行dbmonster文件。DBMonster运行时的主要参数是-c和-s，分别指明配置文件和schema文件的位置。缺省的配置文件位于DBMonster的安装目录下，名称是dbmonster.properties。例如，如果我们使用缺省的配置文件，指明schema文件为test-schema.xml，则命令行为：
dbmonster -s test-schema.xml
另外，DBMonster可以直接抓取数据库schema中的表结构，使用--grab参数即可。但要注意的是，如果你没有在配置文件中指定schema名称，dbmonster会抓取全部的表。
DBMonster的配置文件
缺省的配置文件位于DBMonster的安装目录下，名称是dbmonster.properties。其内容如下（以Oracle为例，其他的数据库类型请自行修改JDBC驱动名称、数据库连接字符串等内容）：dbmonster.jdbc.driver=oracle.jdbc.driver.OracleDriver
dbmonster.jdbc.url=jdbc:oracle:thin:@testdb:1521:test
dbmonster.jdbc.username=student
dbmonster.jdbc.password=123456
dbmonster.jdbc.transaction.size=50
# for Oracle and other schema enabled databases
dbmonster.jdbc.schema=student
# maximal number of (re)tries
dbmonster.max-tries=1000
# default rows number for SchemaGrabber
dbmonster.rows=1000
# progres monitor class
dbmonster.progress.monitor=pl.kernelpanic.dbmonster.ProgressMonitorAdapter
dbmonster.jdbc.url=jdbc:oracle:thin:@testdb:1521:test
dbmonster.jdbc.username=student
dbmonster.jdbc.password=123456
dbmonster.jdbc.transaction.size=50
# for Oracle and other schema enabled databases
dbmonster.jdbc.schema=student
# maximal number of (re)tries
dbmonster.max-tries=1000
# default rows number for SchemaGrabber
dbmonster.rows=1000
# progres monitor class
dbmonster.progress.monitor=pl.kernelpanic.dbmonster.ProgressMonitorAdapter
DBMonster的schema文件
schema文件描述了产生数据的规则，在DBMonster中，数据的产生是通过Generator生成的，DBMonster中缺省的数据Generator包括两个Key Generator（用于产生不重复的数据，分别为MaxKeyGenerator和StringKeyGenerator）和 10 个Data Generator。以下简单说明一下Data Generator的使用。BinaryGenerator用于从外部文件中获取二进制数据并插入相应字段，该Generator有两个属性，分别为file和nulls，file属性描述数据来源，而nulls属性则给出该字段生成null的几率。
BooleanGenerator用于产生bool型数据，该Generator包括两个属性，分别为probability和nulls，probability属性描述产生true值数据的几率，nulls属性给出生成null的几率。
ConstantGenerator用于产生固定值的数据，该Generator只有一个属性constant，给出要插入数据库的值；
DateTimeGenerator用于产生DateTime型数据，该Generator包括四个属性，分别是startDate，endDate，returnedType和nulls，startDate描述开始时间，endDate描述终止时间，格式为“yyyy-mm-dd hh24:MM:ss”；returnedType描述生成数据的类型，可以为date、time或是timestamp；
DirectoryGenerator用于根据本地文件（字典）的条目向数据库插入数据，该Generator包括两个属性，分别为dictFile和unique，dictFile指明字典文件所在的位置，unique指明产生的数据是unique的还是random的；
ForeignKeyGenerator用于为设置了外键的字段生成数据，该Generator包含两个属性，分别是tableName和columnName，tableName指明外键引用的表名，columnName指明外键引用的字段名；
NullGenerator用于产生null类型的数据，该Generator不带任何参数（只产生null）；
NumberGenerator用户产生数值类型的数据，该Generator包括5个属性，分别是minValue、maxValue、returnedType、scale和nulls。其中，minValue和maxValue分别给出产生值的下边界和上边界；returnedType给出生成数据的类型，可以是short、integer、long、float、double和numeric类型；scale指明小数位数；nulls表示产生null的几率；
StringGenerator用于产生字符串类型的数据，该Generator包括5个属性，分别是minLength、maxLength、allowSpaces、excludeChars和nulls。其中，minLength和maxLength限定了字符串长度；allowSpaces控制字符串中是否包含空格；excludeChars排除产生字符串时不使用的字符；nulls表示产生null的几率；
StringChoiceGenerator用于从给定的字符串中随机挑选一个作为字段内容，该Generator包含两个属性，分别是choice和nulls。其中choice是以逗号分隔的字符串，逗号分隔开的每个内容是一个字段可用的内容。
例如，如果我们有一张数据表的DDL如下：
CREATE TABLE "TEST"."TEST_DATA" ("INT_ID" NUMBER NOT
NULL, "IPADDR" VARCHAR2(15 byte) NOT NULL, "COMPRESS_DAY"
DATE NOT NULL, "CPUIDLE" NUMBER, "CPUSYSUTIL" NUMBER,
"CPUUSRUTIL" NUMBER, "SYSTEM_LOAD" NUMBER, "MEMRATIO" NUMBER,
"MEMFREE" NUMBER, "SWAPFREE" NUMBER, "SWAPRATIO" NUMBER,
"BUSY_FLAG" NUMBER(5))
TABLESPACE "TS_IPWEB" PCTFREE 10 PCTUSED 0 INITRANS 1
MAXTRANS 255
STORAGE ( INITIAL 120K NEXT 512K MINEXTENTS 1 MAXEXTENTS
2147483645 PCTINCREASE 0)
LOGGING
NULL, "IPADDR" VARCHAR2(15 byte) NOT NULL, "COMPRESS_DAY"
DATE NOT NULL, "CPUIDLE" NUMBER, "CPUSYSUTIL" NUMBER,
"CPUUSRUTIL" NUMBER, "SYSTEM_LOAD" NUMBER, "MEMRATIO" NUMBER,
"MEMFREE" NUMBER, "SWAPFREE" NUMBER, "SWAPRATIO" NUMBER,
"BUSY_FLAG" NUMBER(5))
TABLESPACE "TS_IPWEB" PCTFREE 10 PCTUSED 0 INITRANS 1
MAXTRANS 255
STORAGE ( INITIAL 120K NEXT 512K MINEXTENTS 1 MAXEXTENTS
2147483645 PCTINCREASE 0)
LOGGING
则，对应的产生数据的schema文件如下（只包含部分字段）：
<?xml version="1.0" encoding="iso-8859-1"?>
<!DOCTYPE dbmonster-schema PUBLIC
"-//kernelpanic.pl//DBMonster Database Schema DTD 1.1//EN"
"http://dbmonster.kernelpanic.pl/dtd/dbmonster-schema-1.1.dtd">
<dbmonster-schema>
<name>ipnms</name>
<table name="test.test_data" rows="500">
<column name="int_id">
<generator type="pl.kernelpanic.dbmonster.generator.NumberGenerator">
<property name="nulls" value="0"/>
<property name="minValue" value="20"/>
<property name="maxValue" value="20"/>
<property name="returnedType" value="numeric"/>
<property name="scale" value="0"/>
</generator>
</column>
<column name="ipaddr">
<generator type="pl.kernelpanic.dbmonster.generator.ConstantGenerator">
<property name="constant" value="10.1.200.201"/>
</generator>
</column>
<column name="compress_day">
<generator type="pl.kernelpanic.dbmonster.generator.DateTimeGenerator">
<property name="nulls" value="0"/>
<property name="startDate" value="2006-03-01 00:00:00"/>
<property name="endDate" value="2006-03-31 00:00:00"/>
<property name="returnedType" value="date"/>
</generator>
</column>
<column name="disk_dir">
<generator type="pl.kernelpanic.dbmonster.generator.ConstantGenerator">
<property name="constant" value="/var/mqm"/>
</generator>
</column>
<column name="disk_device">
<generator type="pl.kernelpanic.dbmonster.generator.ConstantGenerator">
<property name="constant" value="/dev/c0s0t1"/>
</generator>
</column>
<column name="disk_used_rate">
<generator type="pl.kernelpanic.dbmonster.generator.NumberGenerator">
<property name="nulls" value="0"/>
<property name="minValue" value="1"/>
<property name="maxValue" value="80"/>
<property name="returnedType" value="numeric"/>
<property name="scale" value="0"/>
</generator>
</column>
</table>
</dbmonster-schema>
<!DOCTYPE dbmonster-schema PUBLIC
"-//kernelpanic.pl//DBMonster Database Schema DTD 1.1//EN"
"http://dbmonster.kernelpanic.pl/dtd/dbmonster-schema-1.1.dtd">
<dbmonster-schema>
<name>ipnms</name>
<table name="test.test_data" rows="500">
<column name="int_id">
<generator type="pl.kernelpanic.dbmonster.generator.NumberGenerator">
<property name="nulls" value="0"/>
<property name="minValue" value="20"/>
<property name="maxValue" value="20"/>
<property name="returnedType" value="numeric"/>
<property name="scale" value="0"/>
</generator>
</column>
<column name="ipaddr">
<generator type="pl.kernelpanic.dbmonster.generator.ConstantGenerator">
<property name="constant" value="10.1.200.201"/>
</generator>
</column>
<column name="compress_day">
<generator type="pl.kernelpanic.dbmonster.generator.DateTimeGenerator">
<property name="nulls" value="0"/>
<property name="startDate" value="2006-03-01 00:00:00"/>
<property name="endDate" value="2006-03-31 00:00:00"/>
<property name="returnedType" value="date"/>
</generator>
</column>
<column name="disk_dir">
<generator type="pl.kernelpanic.dbmonster.generator.ConstantGenerator">
<property name="constant" value="/var/mqm"/>
</generator>
</column>
<column name="disk_device">
<generator type="pl.kernelpanic.dbmonster.generator.ConstantGenerator">
<property name="constant" value="/dev/c0s0t1"/>
</generator>
</column>
<column name="disk_used_rate">
<generator type="pl.kernelpanic.dbmonster.generator.NumberGenerator">
<property name="nulls" value="0"/>
<property name="minValue" value="1"/>
<property name="maxValue" value="80"/>
<property name="returnedType" value="numeric"/>
<property name="scale" value="0"/>
</generator>
</column>
</table>
</dbmonster-schema>
DBMonster 和 DataFactory 的对比
作为一款开源的数据产生工具，DBMonster与Data Factory想比较，在功能方面DBMonster显得弱一些，例如，在产生composite类型的字段、在自动查找关联表方面，DBMonster都只能让用户自己解决；另外，在使用的便利性方面DBMonster也没有提供漂亮的GUI界面，因此肯定会有些人觉得这个工具不好用（但对我来说，我似乎更加习惯于这种用xml描述数据产生的方式）。不过，DBMonster其实已经可以胜任大多数情况下的数据库数据产生了，我在使用中发现的它的最大的局限性是在针对具有多字段约束（例如，包含多个字段的unique index约束）时数据产生的不便，当然，在DBMonster的Manual中也提到了，可以通过自己写代码来扩展这些，而且也给出了相应的代码示例，但对普通用户来说，还是希望工具能够用起来更加方便吧。
