会员
周边
众包
新闻
博问
闪存
赞助商
所有博客
当前博客
我的博客
我的园子
账号设置
简洁模式
...
退出登录
注册
登录
Chen Jian
导航
博客园
首页
新随笔
联系
订阅
管理
公告
2017年2月27日
使用tar+pigz+ssh实现大数据的高效传输
摘要: 以前我们跨主机拷贝大数据的时候,比如要拷贝超过100GB的mysql原始数据,我们通常的做法如下: 在源端打包压缩为tar.gz文件 采用scp或者rsync等方式拷贝到目标主机 在目标主机解压文件 这三个过程是同步阻塞,即不能同时异步执行,导致效率低下。 现在我们将过程优化为以数据流的方式,同时执行(非阻塞模式),则效率一般可以提高到原来的3倍以上,具体...
阅读全文
posted @ 2017-02-27 09:52 Chen Jian
阅读(1770)
评论(0)
推荐(0)
编辑