lz4压缩传输

如果用传统SCP远程拷贝,速度是比较慢的。现在采用lz4压缩传输。LZ4是一个非常快的无损压缩算法,压缩速度在单核300MB/S,可扩展支持多核CPU。它还具有一个非常快速的解码器,速度单核可达到和超越1GB/S。通常能够达到多核系统上的RAM速度限制。

lz4需要安装,事先做好无密码登陆操作,则不要输入密码。
(1)安装pv

# wget http://pkgs.fedoraproject.org/repo/pkgs/pv/pv-1.1.4.tar.gz/8d0eda2182640919daaf6186cd816a13/pv-1.1.4.tar.gz
# tar zxvf pv-1.1.4.tar.gz
# cd pv-1.1.4/
# ./configure
# make && make install 

(2)安装lz4<两边都要安装>

# wget https://src.fedoraproject.org/repo/pkgs/lz4/lz4-r108.tar.gz/5c621dd18f27810bba3629cdb326e852/lz4-r108.tar.gz
# tar zxvf lz4-r108.tar.gz
# cd lz4-r108
# make && make install
# time tar -c gdrive_dbp_his_201402|pv|lz4 -B4|ssh -c arcfour128 -o"MACs hmac-md5-96" 10.1.3.99 "lz4 -d|tar -xC /data5/mysql_tj_data"
# time tar -c /opt|pv|lz4 -B4|ssh -c arcfour128 -o"MACs hmac-md5-96" 118.184.183.160 "lz4 -d|tar -xC /data/opt"
不加密:
# time tar -c /opt|pv|lz4 -B4|ssh  118.184.183.160 "lz4 -d|tar -xC /data/opt"
posted @   邹姣姣  阅读(122)  评论(0编辑  收藏  举报
相关博文:
阅读排行:
· winform 绘制太阳,地球,月球 运作规律
· AI与.NET技术实操系列(五):向量存储与相似性搜索在 .NET 中的实现
· 超详细:普通电脑也行Windows部署deepseek R1训练数据并当服务器共享给他人
· 【硬核科普】Trae如何「偷看」你的代码?零基础破解AI编程运行原理
· 上周热点回顾(3.3-3.9)
点击右上角即可分享
微信分享提示