服务器&集群之间的文件复制与拷贝
安全拷贝:scp(secure copy)
scp可以实现服务器与服务器之间的数据拷贝(from server1 to server2)
命令 递归 要拷贝的文件路径/名称 目的用户@主机:目的路径/名称
1:cdh1 文件 拷贝到 cdh2
[root@cdh1 home]# scp -r WordCount.jar root@cdh2:/home/ WordCount.jar 100% 12KB 3.5MB/s 00:00
[root@cdh2 home]# ll total 20 drwx------. 15 admin admin 4096 Feb 27 12:08 admin drwxr-xr-x. 9 root root 139 Mar 5 19:23 tools -rw-r--r-- 1 root root 12528 May 23 20:27 WordCount.jar
2:cdh1 拷贝cdh2文件 到cdh3
[root@cdh1 home]# scp -r root@cdh2:/home/WordCount.jar root@cdh3:/home/ WordCount.jar 100% 12KB 4.5MB/s 00:00 Connection to cdh2 closed.
[root@cdh3 home]# ll total 20 drwx------. 15 admin admin 4096 Apr 10 14:05 admin drwxr-xr-x. 9 root root 139 Mar 5 19:22 tools -rw-r--r-- 1 root root 12528 May 23 20:32 WordCount.jar
远程同步工具:rsync
rsync主要用于备份和镜像,具有速度快、避免复制相同内容和支持符号链接的优点
命令 选项参数 要拷贝的文件路径/名称 目的用户@主机:目的路径/名称
参数:-a 归档拷贝 -v 显示复制过程
cdh1文件夹 同步到 cdh2
[root@cdh1 home]# rsync -av DataDemo/ root@cdh2:/home/DataDemo sending incremental file list ./ Demo2.txt Demo3.txt sent 269 bytes received 69 bytes 676.00 bytes/sec total size is 118 speedup is 0.35
[root@cdh2 home]# ll DataDemo/ total 8 -rw-r--r-- 1 root root 87 May 23 20:49 Demo2.txt -rw-r--r-- 1 root root 31 May 22 21:53 Demo3.txt
总结:
1:用rsync做文件的复制要比scp的速度快,rsync只对差异文件做更新。
2:scp是把所有文件都复制过去
-- 附上用shell命令解决集群文件相互复制
Linux集群分发脚本xsync - uestc2007 - 博客园 (cnblogs.com)
作者:M_Fight๑҉
本文版权归作者和博客园共有,欢迎转载,但未经作者同意必须保留此段声明,且在文章页面明显位置给出原文连接,否则保留追究法律责任的权利。
【推荐】编程新体验,更懂你的AI,立即体验豆包MarsCode编程助手
【推荐】凌霞软件回馈社区,博客园 & 1Panel & Halo 联合会员上线
【推荐】抖音旗下AI助手豆包,你的智能百科全书,全免费不限次数
【推荐】博客园社区专享云产品让利特惠,阿里云新客6.5折上折
【推荐】轻量又高性能的 SSH 工具 IShell:AI 加持,快人一步
· 一个费力不讨好的项目,让我损失了近一半的绩效!
· 实操Deepseek接入个人知识库
· CSnakes vs Python.NET:高效嵌入与灵活互通的跨语言方案对比
· 【.NET】调用本地 Deepseek 模型
· Plotly.NET 一个为 .NET 打造的强大开源交互式图表库