lz4压缩传输

如果用传统SCP远程拷贝,速度是比较慢的。现在采用lz4压缩传输。LZ4是一个非常快的无损压缩算法,压缩速度在单核300MB/S,可扩展支持多核CPU。它还具有一个非常快速的解码器,速度单核可达到和超越1GB/S。通常能够达到多核系统上的RAM速度限制。

lz4需要安装,事先做好无密码登陆操作,则不要输入密码。
(1)安装pv

# wget http://pkgs.fedoraproject.org/repo/pkgs/pv/pv-1.1.4.tar.gz/8d0eda2182640919daaf6186cd816a13/pv-1.1.4.tar.gz
# tar zxvf pv-1.1.4.tar.gz
# cd pv-1.1.4/
# ./configure
# make && make install 

(2)安装lz4<两边都要安装>

# wget https://src.fedoraproject.org/repo/pkgs/lz4/lz4-r108.tar.gz/5c621dd18f27810bba3629cdb326e852/lz4-r108.tar.gz
# tar zxvf lz4-r108.tar.gz
# cd lz4-r108
# make && make install
# time tar -c gdrive_dbp_his_201402|pv|lz4 -B4|ssh -c arcfour128 -o"MACs hmac-md5-96" 10.1.3.99 "lz4 -d|tar -xC /data5/mysql_tj_data"
# time tar -c /opt|pv|lz4 -B4|ssh -c arcfour128 -o"MACs hmac-md5-96" 118.184.183.160 "lz4 -d|tar -xC /data/opt"
不加密:
# time tar -c /opt|pv|lz4 -B4|ssh  118.184.183.160 "lz4 -d|tar -xC /data/opt"
posted @ 2023-10-09 09:05  邹姣姣  阅读(74)  评论(0编辑  收藏  举报