5.如何使用redis缓存来实现jmeter分布式压力测试
JMeter - 如何在分布式负载测试中共享数据
在本文中，我想说明如何在分布式模式下在所有JMeter服务器之间共享数据。
问题陈述：
如果您一直在分布式模式下运行JMeter，您可能已经知道设置所有具有所有依赖关系的JMeter服务器是一件痛苦的事。我们已经看到docker极大地简化了JMeter主从设置。
如果你还没有检查过这些文章，我建议你先检查一下。
但是，JMeter master只是在所有服务器计算机中运行.jmx文件。如果JMeter测试依赖于CSV文件中的测试数据，则需要复制CSV文件并将自己分发给所有JMeter服务器。大多数情况下，Slave1使用的测试数据不能被其他从站使用。我们还需要确保您拆分CSV文件并分发给从站。不幸的是，docker无法直接帮助我们进行测试数据分发。
分布式模式下的CSV：
即使我们使用脚本拆分文件并移动到从属服务器，这种方法仍然存在限制。
让我们假设，我们有10,000条记录要处理，我们有4个奴隶。因此，我们将10K记录CSV文件分成4个CSV文件，每个文件有2500条记录。如果JMeter测试应该处理所有记录，则某些从站可能比其他从站更快地完成测试。这是因为每行不一定需要花费相同的时间来处理被测试的应用程序。因此，当其中一台服务器仍处理其第2400条记录时，另一台服务器可能已完成所有2500条记录。
在上面的设置中，经过一段时间后，我们可能会看到一些服务器已经完成测试 - 而其他服务器仍然非常努力地完成测试。即使这些服务器可用于帮助仍在运行的其他服务器，但由于它们没有测试数据，因此无法使用。
优点
-
- 快速
缺点
-
- 根据我们使用的服务器数量，必须将庞大的数据文件拆分为多个文件。
- 必须手动/使用自定义脚本将文件移动到所有从属服务器。
- 每个服务器都有自己的数据。它们之间的数据共享是不可能的。
- 测试开始后，我们无法为从站添加更多数据。
什么是Redis：
Redis代表RE mote DI ctionary S erver 。它是一个开源 的内存 数据结构存储数据库。它将各种数据结构（如String，Map，Lists，Sets等）存储为Key值对。由于它是一个内存数据库，它将所有数据保存在RAM中（但它也可以定期在磁盘中写入数据）。因此，在读取/写入数据时，您可以获得显着的性能提升。
分布式模式下的ReDis：
不是将所有测试数据保存在CSV文件中，而是将它们拆分并分发 - 我们将所有数据移至Redis DB，Redis将测试数据提供给JMeter服务器。设置如下所示。
如果您想使用Redis而不是CSV，则不必在JMeter测试中进行大量更改。您只需使用“jp @ gc - Redis数据集”插件并更新JMeter测试计划中的Redis DB服务器详细信息。我们将使用相同的变量名称，您的JMeter测试不会真正知道谁在提供测试数据。测试运行得很好。
当JMeter从站运行测试时，我们还可以向ReDis服务器添加更多数据。
优点
-
- 奴隶之间的数据共享非常容易。无需拆分文件。
- Redis为所有服务器提供数据。因此无需担心将测试数据移至服务器。
- 负载在服务器之间均匀分配。
- 在测试运行时，可以将新数据添加到ReDis服务器以服务于JMeter从站。
缺点
-
- 相对较慢[这种缓慢不是因为ReDis。这可能是由于你的网络]。
JMeter-ReDis基础设施设置：
让我们为完整的JMeter-Redis测试基础架构创建一个docker compose文件，如下所示。[我假设你已经对docker-compose有了一些了解。如果没有，请查看这篇文章 ]
- 创建一个目录。
mkdir tag
- 通过复制上面的文件内容创建一个新的docker-compose文件。
cd tag
sudo vim docker-compse.yml
- 使用以下命令设置整个JMeter-ReDis基础结构。
sudo docker-compose up -d
- 运行以下命令以查看正在运行的服务
sudo docker-compose ps
|
1
2
3
4
五
|
Name Command State Ports-----------------------------------------------------------------------------master /bin/bash Up 60000/tcpredis docker-entrypoint.sh redis ... Up 0.0.0.0:6379->6379/tcptag_slave_1 /bin/sh -c $JMETER_HOME/bi ... Up 1099/tcp, 50000/tcp |
- 让我们通过发出以下命令来添加更多的奴隶。
sudo docker-compose scale slave=4
|
1
2
3
4
五
6
7
8
|
Name Command State Ports-----------------------------------------------------------------------------master /bin/bash Up 60000/tcpredis docker-entrypoint.sh redis ... Up 0.0.0.0:6379->6379/tcptag_slave_1 /bin/sh -c $JMETER_HOME/bi ... Up 1099/tcp, 50000/tcptag_slave_2 /bin/sh -c $JMETER_HOME/bi ... Up 1099/tcp, 50000/tcptag_slave_3 /bin/sh -c $JMETER_HOME/bi ... Up 1099/tcp, 50000/tcptag_slave_4 /bin/sh -c $JMETER_HOME/bi ... Up 1099/tcp, 50000/tcp |
- 让我们再运行一个命令来获取从站的所有IP地址。
sudo docker inspect -f '{{.Name}} - {{range .NetworkSettings.Networks}}{{.IPAddress}}{{end}}' $(sudo docker ps -aq)
|
1
2
3
4
五
6
|
/tag_slave_2 - 172.19.0.7/tag_slave_3 - 172.19.0.6/tag_slave_4 - 172.19.0.5/master - 172.19.0.4/redis - 172.19.0.3/tag_slave_1 - 172.19.0.2 |
将数据推送到ReDis：
现在让我们将一些数据移动到ReDis DB。下载Jedis jar并将其放在类路径中 - 创建一些数据。或者读取您的CSV文件并将数据移动到ReDis，如下所示。
|
1
2
3
4
五
6
7
|
import redis.clients.jedis.Jedis;Jedis jedis = new Jedis("server");for(int i=1;i<=100000;i++){ jedis.lpush("testdata", "name" + i + ",age" + i + ",address" + i);}jedis.close(); |
JMeter测试计划：
让我们使用Redis数据集创建一个简单的JMeter测试计划。数据的Redis键是'testdata'[检查上面的java示例我们使用过的键]。如果我们用逗号分隔每一行，我们有姓名，年龄和地址的数据。相应地更新变量名称。[如果要从CSV移至ReDis，请使用相同的变量名称。这就对了]
我已将此测试上传到Amazon S3，以便我们在docker-containers中访问以进行测试。
JMeter-分布式测试：
- 我们准备好了一切。让我们在容器内部运行以下命令。
sudo docker exec -it master /bin/bash
- 转到JMeter bin文件夹。
cd jmeter/apache-jmeter-2.13/bin/
- 下载我创建的JMeter-ReDis测试计划。
wget https://s3-us-west-2.amazonaws.com/dpd-q/jmeter/redis.jmx
- 运行JMeter测试
./jmeter -n -t redis.jmx -R172.19.0.2,172.19.0.5,172.19.0.6,172.19.0.7
概要：
ReDis是在JMeter分布式测试中在所有从站之间共享数据的绝佳选择。它不会影响您现有的测试计划。您只需使用ReDis数据集配置元素而不是CSV数据集。它可以节省大量时间，无需仔细拆分文件并分发给所有从站。
