服务器&集群之间的文件复制与拷贝

安全拷贝:scp(secure copy)

scp可以实现服务器与服务器之间的数据拷贝(from server1 to server2)

命令 递归 要拷贝的文件路径/名称 目的用户@主机:目的路径/名称

1:cdh1 文件 拷贝到 cdh2

[root@cdh1 home]# scp -r WordCount.jar root@cdh2:/home/
WordCount.jar                                                                                                    100%   12KB   3.5MB/s   00:00
[root@cdh2 home]# ll
total 20
drwx------. 15 admin admin  4096 Feb 27 12:08 admin
drwxr-xr-x.  9 root  root    139 Mar  5 19:23 tools
-rw-r--r--   1 root  root  12528 May 23 20:27 WordCount.jar

2:cdh1 拷贝cdh2文件 到cdh3

[root@cdh1 home]# scp -r root@cdh2:/home/WordCount.jar root@cdh3:/home/
WordCount.jar                                                                                                100%   12KB   4.5MB/s   00:00    
Connection to cdh2 closed.
[root@cdh3 home]# ll
total 20
drwx------. 15 admin admin  4096 Apr 10 14:05 admin
drwxr-xr-x.  9 root  root    139 Mar  5 19:22 tools
-rw-r--r--   1 root  root  12528 May 23 20:32 WordCount.jar

远程同步工具:rsync

rsync主要用于备份和镜像,具有速度快、避免复制相同内容和支持符号链接的优点

命令 选项参数 要拷贝的文件路径/名称 目的用户@主机:目的路径/名称

参数:-a 归档拷贝  -v 显示复制过程

cdh1文件夹 同步到 cdh2

[root@cdh1 home]# rsync -av DataDemo/ root@cdh2:/home/DataDemo
sending incremental file list
./
Demo2.txt
Demo3.txt

sent 269 bytes  received 69 bytes  676.00 bytes/sec
total size is 118  speedup is 0.35
[root@cdh2 home]# ll DataDemo/
total 8
-rw-r--r-- 1 root root 87 May 23 20:49 Demo2.txt
-rw-r--r-- 1 root root 31 May 22 21:53 Demo3.txt

总结:

1:用rsync做文件的复制要比scp的速度快,rsync只对差异文件做更新。
2:scp是把所有文件都复制过去

-- 附上用shell命令解决集群文件相互复制

Linux集群分发脚本xsync - uestc2007 - 博客园 (cnblogs.com)

 

posted @   M_Fight๑҉  阅读(240)  评论(0编辑  收藏  举报
相关博文:
阅读排行:
· 一个费力不讨好的项目,让我损失了近一半的绩效!
· 实操Deepseek接入个人知识库
· CSnakes vs Python.NET:高效嵌入与灵活互通的跨语言方案对比
· 【.NET】调用本地 Deepseek 模型
· Plotly.NET 一个为 .NET 打造的强大开源交互式图表库
点击右上角即可分享
微信分享提示