网络服务性能优化：Wrktcp与Perf工具详解
-
wrktcp安装
码云地址：https://gitee.com/icesky1stm/wrktcp
直接下载，cd wrktcp-master && make,会生成wrktcp，就ok了，很简单 -
wrktcp使用
压测首先需要一个服务，写了一个epoll+边沿触发的服务，业务是判断ip是在国内还是国外，rq：00000015CHECKIP1.0.4.0，rs：000000010，写的有些就简陋兑付看吧，主要为了压测和分析性能瓶颈。
#include <stdio.h>
#include <ctype.h>
#include <unistd.h>
#include <stdlib.h>
#include <sys/types.h>
#include <sys/stat.h>
#include <string.h>
#include <arpa/inet.h>
#include <sys/socket.h>
#include <sys/epoll.h>
#include <fcntl.h>
#include <errno.h>
#include <iostream>
#include <sstream>
#include <thread>
#include <netinet/in.h>
#include <netdb.h>
#include <cstring>
#include <map>
#include <fstream>
#include <cstdio>
#include <cstdlib>
#include <syslog.h>
std::map<unsigned long, unsigned long> g_ip_list; // 存储 IP 范围
bool init_ip_list(const char* file_name, std::map<unsigned long, unsigned long> &ip_list)
{
FILE *fp = nullptr;
if ((fp = fopen(file_name, "r")) == nullptr)
{
return false;
}
int i = 0;
int total_count = 0;
char buf[64] = {0};
while (fgets(buf, sizeof(buf), fp))
{
i++;
if (buf[0] == '#')
continue;
char *pout = nullptr;
char *pbuf = buf;
char *pc[10];
int j = 0;
while ((pc[j] = strtok_r(pbuf, "|", &pout)) != nullptr)
{
j++;
pbuf = nullptr;
if (j > 7)
break;
}
if (j != 7)
{
syslog(LOG_ERR, "%s:%d, unknown format the line is %d", __FILE__, __LINE__, i);
continue;
}
if (strcmp(pc[2], "ipv4") == 0 && strcmp(pc[1], "CN") == 0)
{
unsigned long ip_begin = inet_addr(pc[3]);
if (ip_begin == INADDR_NONE)
{
syslog(LOG_ERR, "%s:%d, ip is unknown, the line is %d, the ip is %s", __FILE__, __LINE__, i, pc[3]);
continue;
}
int count = atoi(pc[4]);
ip_begin = ntohl(ip_begin);
unsigned long ip_end = ip_begin + count - 1;
ip_list.insert(std::make_pair(ip_end, ip_begin));
total_count++;
}
}
syslog(LOG_INFO, "%s:%d, init_ip_list, total count is %d", __FILE__, __LINE__, total_count);
fclose(fp);
return true;
}
void extract_ip(char *buf, char *ip) {
// 假设协议字符串格式总是 "00000015CHECKIPx.x.x.x"
// 找到IP地址的起始位置
char *start = strstr(buf, "CHECKIP");
if (start == NULL) {
fprintf(stderr, "Invalid protocol string\n");
return;
}
// 跳过"CHECKIP"
start += 7;
// 复制IP地址到ip变量，注意检查边界
strncpy(ip, start, 15); // IP地址最多15个字符，包括'\0'
ip[15] = '\0'; // 确保字符串以'\0'结尾
}
// server
int main(int argc, const char* argv[])
{
const char* file_name = "ip_list.txt";
if (!init_ip_list(file_name, g_ip_list)) {
std::cerr << "Failed to initialize IP list." << std::endl;
return 1;
}
// 创建监听的套接字
int lfd = socket(AF_INET, SOCK_STREAM, 0);
if(lfd == -1)
{
perror("socket error");
exit(1);
}
// 绑定
struct sockaddr_in serv_addr;
memset(&serv_addr, 0, sizeof(serv_addr));
serv_addr.sin_family = AF_INET;
serv_addr.sin_port = htons(9999);
serv_addr.sin_addr.s_addr = htonl(INADDR_ANY); // 本地多有的ＩＰ
// 127.0.0.1
// inet_pton(AF_INET, "127.0.0.1", &serv_addr.sin_addr.s_addr);
// 设置端口复用
int opt = 1;
setsockopt(lfd, SOL_SOCKET, SO_REUSEADDR, &opt, sizeof(opt));
// 绑定端口
int ret = bind(lfd, (struct sockaddr*)&serv_addr, sizeof(serv_addr));
if(ret == -1)
{
perror("bind error");
exit(1);
}
// 监听
ret = listen(lfd, 64);
if(ret == -1)
{
perror("listen error");
exit(1);
}
// 现在只有监听的文件描述符
// 所有的文件描述符对应读写缓冲区状态都是委托内核进行检测的epoll
// 创建一个epoll模型
int epfd = epoll_create(100);
if(epfd == -1)
{
perror("epoll_create");
exit(0);
}
// 往epoll实例中添加需要检测的节点, 现在只有监听的文件描述符
struct epoll_event ev;
ev.events = EPOLLIN; // 检测lfd读读缓冲区是否有数据
ev.data.fd = lfd;
ret = epoll_ctl(epfd, EPOLL_CTL_ADD, lfd, &ev);
if(ret == -1)
{
perror("epoll_ctl");
exit(0);
}
struct epoll_event evs[1024];
int size = sizeof(evs) / sizeof(struct epoll_event);
// 持续检测
while(1)
{
// 调用一次, 检测一次
int num = epoll_wait(epfd, evs, size, -1);
printf("==== num: %d\n", num);
for(int i=0; i<num; ++i)
{
// 取出当前的文件描述符
int curfd = evs[i].data.fd;
// 判断这个文件描述符是不是用于监听的
if(curfd == lfd)
{
// 建立新的连接
int cfd = accept(curfd, NULL, NULL);
// 将文件描述符设置为非阻塞
// 得到文件描述符的属性
int flag = fcntl(cfd, F_GETFL);
flag |= O_NONBLOCK;
fcntl(cfd, F_SETFL, flag);
// 新得到的文件描述符添加到epoll模型中, 下一轮循环的时候就可以被检测了
// 通信的文件描述符检测读缓冲区数据的时候设置为边沿模式
ev.events = EPOLLIN | EPOLLET; // 读缓冲区是否有数据
ev.data.fd = cfd;
ret = epoll_ctl(epfd, EPOLL_CTL_ADD, cfd, &ev);
if(ret == -1)
{
perror("epoll_ctl-accept");
exit(0);
}
}
else
{
// 处理通信的文件描述符
// 接收数据
char buf[128];
memset(buf, 0, sizeof(buf));
// 循环读数据
while(1)
{
int len = recv(curfd, buf, sizeof(buf)-1, 0);
if(len == 0)
{
// 非阻塞模式下和阻塞模式是一样的 => 判断对方是否断开连接
printf("客户端断开了连接...\n");
// 将这个文件描述符从epoll模型中删除
epoll_ctl(epfd, EPOLL_CTL_DEL, curfd, NULL);
close(curfd);
break;
}
else if(len > 0)
{
// 通信
// 接收的数据打印到终端
write(STDOUT_FILENO, buf, len);
char ip[16]; // 存储IP地址
extract_ip(buf, ip);
printf("Received IP: %s\n", ip);
// 发送数据
//send(curfd, buf, len, 0);
// 验证 IP 地址
struct in_addr address;
int result = inet_pton(AF_INET, ip, &address); // 检查 IP 地址的有效性
if (result < 0) {
std::cout << "Invalid IP address: " << result << " " << ip << std::endl;
send(curfd, "-Err\n", 5, 0);
continue;
}
unsigned long ip_num = ntohl(address.s_addr);
auto it = g_ip_list.lower_bound(ip_num);
if (it != g_ip_list.end() && it->first >= ip_num && it->second <= ip_num) {
send(curfd, "000000010", 9, 0); // 国内
} else {
send(curfd, "000000011", 9, 0); // 国外
}
}
else
{
// len == -1
if(errno == EAGAIN)
{
printf("数据读完了...\n");
close(curfd);
break;
}
else
{
perror("recv");
exit(0);
}
}
}
}
}
}
return 0;
}
编译g++ epoll_test.cpp -o epoll_test,直接执行./epoll_test,监听0的9999端口
- wrk配置文件sample_tiny.ini
[common]
# ip & port
host = 127.0.0.1
port = 9999
[request]
req_body = CHECKIP1.0.4.0
[response]
rsp_code_location = head
说下其中的坑，req_body就是要发的协议，但是wrktcp会在前面加长度固定8位：00000015；默认成功成功响应码是000000，设置rsp_code_location这个会让wrktcp从返回协议(000000010)头开始找成功响应码
上面那些说明：wrktcp的README有一些说明，但解释的不太全，需要自己去试和看源码
- todo
固定协议前面加8位长度，不可能每个服务都是这样的协议，怎么去自定义的协议，希望大佬指教，好像wrk可以自定义协议。 - wrk压测命令
./wrktcp -t15 -c15 -d100s --latency sample_tiny.ini
-t, --threads: 使用线程总数，一般推荐使用CPU核数的2倍-1
-c, --connections: 连接总数，与线程无关。每个线程的连接数为connections/threads
-d, --duration: 压力测试时间, 可以写 2s, 2m, 2h
--latency: 打印延迟分布情况
--timeout: 指定超时时间，默认是5000毫秒，越长占用统计内存越大。
--trace: 打印出分布图
--html: 将压测的结果数据，输出到html文件中。
--test: 每个连接只会执行一次，一般用于测试配置是否正确。
-v --version: 打印版本信息
测试了两遍，TPS能维持在1600左右
Running 2m loadtest @ 127.0.0.1:9999 using sample_tiny.ini
15 threads and 15 connections
Time:100s TPS:1644.64/0.00 Latency:7.69ms BPS:14.45KB Error:0
Thread Stats Avg Stdev Max +/- Stdev
Latency 4.66ms 14.17ms 318.09ms 98.89%
Req/Sec 113.66 233.09 1.69k 94.95%
Latency Distribution
50% 823.00us
75% 8.17ms
90% 9.15ms
99% 23.08ms
164554 requests in 1.67m, 1.41MB read
Requests/sec: 1643.21 (Success:1643.21/Failure:0.00)
Transfer/sec: 14.44KB
- perf
压测监测服务:perf record -p 10263 -a -g -F 99 -- sleep 10
参数说明：
-p : 进程
-a : 记录所有事件
-g : 启用基于 DWARF 调试信息的函数调用栈跟踪。这将记录函数调用栈信息，使得生成的报告更加详细，能够显示出函数调用的关系。
-F : 采样频率
--sleep：执行 sleep 命令，使系统休眠 10 秒钟。在这个期间，perf record 将记录指定进程的性能数据。
会在当前目录生成perf.data文件，执行perf report，会看到printf和write占用的CPU比较高，删除上面服务的printf和write函数，重新压测
重新压测之后，TPS能维持在3W+
Running 2m loadtest @ 127.0.0.1:9999 using sample_tiny.ini
15 threads and 15 connections
Time:100s TPS:32748.45/0.00 Latency:438.00us BPS:287.83KB Error:0
Thread Stats Avg Stdev Max +/- Stdev
Latency 519.35us 1.24ms 63.18ms 97.47%
Req/Sec 2.19k 536.83 4.83k 76.97%
Latency Distribution
50% 349.00us
75% 426.00us
90% 507.00us
99% 5.12ms
3275261 requests in 1.67m, 28.11MB read
Requests/sec: 32716.39 (Success:32716.39/Failure:0.00)
Transfer/sec: 287.55KB
作者：逆袭之路
-------------------------------------------
个性签名：独学而无友，则孤陋而寡闻。做一个灵魂有趣的人！
如果觉得这篇文章对你有小小的帮助的话，记得在右下角点个“推荐”哦，博主在此感谢！
万水千山总是情，打赏一分行不行，所以如果你心情还比较高兴，也是可以扫码打赏博主，哈哈哈(っ•̀ω•́)っ✎⁾⁾！
