Linux并行gzip压缩工具pigz

由于项目原因，经常需要压缩和解压缩大量的数据。10G规模以上，而默认tar打包和系统默认的压缩工具是单线程的。服务器多核CPU完全利用不起来，瓶颈在CPU的处理上面。于是使用了pigz这个可以利用多核的并行压缩工具。效果显著，如果你也需要频繁压缩大量的数据，可以尝试一下这个软件。

1. 安装

1.1 centos & redhat系

yum install pigz -y

1.2 debian & ubuntu系

apt-get install pigz -y

2. 使用

2.1 压缩

其中packages是要压缩的目录，packages.tgz是压缩后的名称。

tar --use-compress-program=pigz -cpvf packages.tgz packages 

2.2 解压

tar --use-compress-program=pigz -xvf packages.tgz

3. 对比

我的服务器配置是：

• CPU：Intel E5-2620 CPU，双CPU，共12核，24线程
• 内存：32G内存
• 硬盘：RAID0 双盘 SAS机械盘
  压缩包的大小是压缩前33G，压缩后10G

3.1 单线程解压用时：5分36秒

time tar -xvf rpms.tgz

3.2 pigz多线程解压用时： 3分2秒

time tar --use-compress-program=pigz -xvf rpms.tgz

3.3 单线程压缩用时：20分35秒

time tar -cpzvf - packages | split -b 3500m -d - rpms.tgz

3.4 pigz多线程压缩用时：2分8秒

time tar --use-compress-program=pigz -cpvf - packages | split -b 3500m -d - rpms.tgz

4. 总结

在我的服务器上面速度还是有很明显提升的，尤其是压缩时间，提高了10倍。解压时间也提升了一倍左右。如果需要大量的压缩和解压缩工作，效率还是会提高很多的。

5. 来源

文章转载自：CSDN:冰封飞飞