张冬生的网络日志

记录,转载,分享
  博客园  :: 首页  :: 新随笔  :: 联系 :: 订阅 订阅  :: 管理

大文件传输技巧

Posted on 2011-07-12 15:17  张冬生  阅读(259)  评论(0编辑  收藏  举报

通常步骤:

  1. 压缩
  2. 发送到另一台机器上
  3. 解压缩到目的地
  4. 文件校验

简单示例

服务器一上执行:

  • server1$ gzip –c /path/to/source/file > /path/to/compressed/file
  • server1$ scp /path/to/compressed/file root@server2:/path/to/new/path

服务器二上执行:

  • server2$ gunzip /path/to/new/file

缺点:

1. gzip在服务器1上既读又写

2. scp在服务器1上读,服务器2上写

3.gunzip在服务器2上既读又写

 

一步到位的方法:

server1$ gzip –c /path/to/file | ssh root@server2

“gunzip –c – > /path/to/new/file”

这个方法极大的降低了磁盘I/O