mongodb压力测试工具ycsb

mongodb安装

这里以安装单机版为例，rpm包方式安装

wget https://repo.mongodb.org/yum/redhat/7/mongodb-org/4.4/x86_64/RPMS/mongodb-org-server-4.4.7-1.el7.x86_64.rpm 
wget https://repo.mongodb.org/yum/redhat/7/mongodb-org/4.4/x86_64/RPMS/mongodb-org-mongos-4.4.7-1.el7.x86_64.rpm
rpm -ivh mongodb-org-server-4.4.7-1.el7.x86_64.rpm 
rpm -ivh mongodb-org-mongos-4.4.7-1.el7.x86_64.rpm

启动 ​systemctl start mongod 

YCSB压测工具安装

这里不采用网上大多说的maven方式源码安装，因为只需要mongo相关的压测工具，故直接下载对应的包即可

wget https://github.com/brianfrankcooper/YCSB/releases/download/0.17.0/ycsb-mongodb-binding-0.17.0.tar.gz
tar zxvf ycsb-mongodb-binding-0.17.0.tar.gz
cd ycsb-mongodb-binding-0.17.0

数据准备

这里准备测试数据，同时也是测试insert的压力数据

--异步驱动异常，连接会报错
./bin/ycsb load mongodb-async -s -target 5000 -threads 10 -P workloads/workloada -p mongodb.url="mongodb://test:vG5fmBwKOn@192.168.15.145:27005/testdb"

--同步方式，正常使用
./bin/ycsb load mongodb -s -target 5000 -threads 10 -P workloads/workloada -p mongodb.url="mongodb://test:vG5fmBwKOn@192.168.15.145:27005/testdb"

压测

编辑压测参数文件，workloads目录下提供了多种模板，这里以workloada模板为例

table=usertable （压测时的集合名称）
recordcount = 1000000（表示load和run操作中，使用的YCSB实例记录数）
operationcount = 1000000（表示run操作中，使用的YCSB实例操作次数）
workload = com.yahoo.ycsb.workloads.CoreWorkload（要使用的工作负载类）
readproportion = 0.5（默认是0.95，表示的是进行read的操作占所有操作的比例）
updateproportion = 0.5（默认是0.05，表示的是进行update的操作占所有操作的比例）
insertproportion = 0（默认是0，表示的是进行insert的操作占所有操作的比例）
scanproportion = 0（默认是0，表示的是进行scan的操作占所有操作的比例）
requestdistribution = zipfian（默认是uniform，应该使用什么分布来选择要操作的记录：uniform, zipfian, hotspot, sequential, exponential 和 latest）
readallfields = true（默认值是1，应该读取读取所有字段（true），只读取一个（false））

执行压测

-threads 控制客户端连接数

./bin/ycsb run mongodb -s -threads 100 -P workloads/workloada -p mongodb.url="mongodb://test:vG5fmBwKOn@192.168.15.145:27005/testdb"

分片集群压测

若要压测分片集群，需手工提前建立测试集合，并设置好分片键，然后进行压测即可

mongos> use testdb;
mongos> db.createCollection("usertable")
mongos> sh.shardCollection("testdb.usertable",{"_id":"hashed"})