ZSTD多线程压缩
测试代码：
1 // main.cpp 2 // 3 4 #include <iostream> 5 #include <fstream> 6 #include <vector> 7 #include <chrono> 8 #include <thread> 9 #include "./zstd/lib/zstd.h" 10 11 using byte = uint8_t; 12 using buffer = std::vector<byte>; 13 14 using std::chrono::milliseconds; 15 using std::chrono::steady_clock; 16 using std::chrono::duration_cast; 17 18 buffer read_file(const char* path) 19 { 20 std::ifstream s(path, std::ios::binary); 21 if (!s) 22 return {}; 23 s.seekg(0, std::ios::end); 24 auto length = s.tellg(); 25 s.seekg(0, std::ios::beg); 26 if (!length) 27 return {}; 28 buffer buf(length, 0); 29 auto ptr = (char*)buf.data(); 30 s.read(ptr, length); 31 if (!s) 32 return {}; 33 return buf; 34 } 35 36 int main() 37 { 38 // 1. 读取测试数据到内存 39 auto input = read_file("test.bmp"); 40 // 2. 预估输出缓冲区大小 41 auto bufSize = ZSTD_compressBound(input.size()); 42 // 3. 创建输出缓冲区 43 buffer output(bufSize, 0); 44 // 4. 设置压缩参数 45 auto level = 19; // ZSTD 多线程压缩时将 level 设置为 19 效率较高 46 auto num_threads = std::thread::hardware_concurrency(); // 获取CPU线程数 47 // 5. 创建压缩上下文 48 auto ctx = ZSTD_createCCtx(); 49 ZSTD_CCtx_setParameter(ctx, ZSTD_c_compressionLevel, level); 50 ZSTD_CCtx_setParameter(ctx, ZSTD_c_nbWorkers, num_threads); 51 // 6. 执行压缩 52 auto tp1 = steady_clock::now(); 53 auto result = ZSTD_compress2(ctx, output.data(), output.size(), input.data(), input.size()); 54 auto tp2 = steady_clock::now(); 55 // 7. 销毁压缩上下文 56 ZSTD_freeCCtx(ctx); 57 ctx = nullptr; 58 59 if (ZSTD_isError(result)) 60 { 61 std::cout << "error" << std::endl; 62 return 1; 63 } 64 65 auto time = duration_cast<milliseconds>(tp2 - tp1).count(); 66 67 std::cout << "original: " << input.size() << std::endl; 68 std::cout << "compressed: " << result << std::endl; 69 std::cout << "elapsed: " << time << "ms" << std::endl; 70 std::cout << "level: " << level << std::endl; 71 std::cout << "threads: " << num_threads << std::endl; 72 73 return 0; 74 }
测试代码使用VS2022编译通过。
编译ZSTD时确保预处理器有 ZSTD_MULTITHREAD=1 定义，可以直接引用源码文件夹里的 libzstd 项目。
结论：启用多线程压缩时， level <= 19 基本可以吃满CPU， level == 20 效率打五折， level >= 21 跟单线程没什么区别。
