Linux之间的文件传输方式

大数据集群经常涉及文件拷贝,我在学习大数据时总结了几种方式

三台主机:192.168.10.100192.168.10.101192.168.10.102有一个一样的用户:swcode

做过映射关系:

hadoop100	192.168.10.100
hadoop101	192.168.10.101
hadoop102	192.168.10.102

SCP拷贝#

scp会拷贝所有指定内容

1、向192.168.10.101推送数据

scp -r /home/swcode/test.txt test1@192.168.1.101:/home/swcode

2、从192.168.10.100拉取数据

scp -r swcode@192.168.1.101:/home/swcode/test.txt /home/swcode/

3、在192.168.10.101上将192.168.10.100的数据拷贝到192.168.10.102

scp -r swcode@192.168.1.100:/home/swcode/test.txt swcode@192.168.1.102:/home/swcode/

RSYNC同步#

rsync只会复制不一样的内容

1、同步192.168.10.100192.168.10.101~目录

rsync -av /home/swcode/ swcode@192.168.10.101:/home/swcode

没有的可以安装

yum install -y rsync

2、分发脚本xsync,可以放到/etc/profile.d/中,全局使用(别忘了chomd执行权限)

#!/bin/bash

#1. 判断参数个数
if [ $# -lt 1 ]
then
    echo Not Enough Arguement!
    exit;
fi

#2. 遍历集群所有机器,hosts内做过映射关系:hadoop102	192.168.10.102
for host in hadoop101 hadoop102
do
    echo =============== $host ===============
    #3. 遍历所有目录,挨个发送
    for file in $@
    do 
        #4. 判断文件是否存在
        if [ -e $file ]
            then
                #5. 获取父目录
                pdir=$(cd -P $(dirname $file); pwd)
                #6. 获取当前文件的名称
                fname=$(basename $file)
                ssh $host "mkdir -p $pdir"
                rsync -av $pdir/$filename $host:$pdir
            else
                echo $file does not exists!
        fi
    done
done
posted @   sw-code  阅读(802)  评论(0编辑  收藏  举报
编辑推荐:
· [.NET]调用本地 Deepseek 模型
· 一个费力不讨好的项目,让我损失了近一半的绩效!
· .NET Core 托管堆内存泄露/CPU异常的常见思路
· PostgreSQL 和 SQL Server 在统计信息维护中的关键差异
· C++代码改造为UTF-8编码问题的总结
阅读排行:
· 一个费力不讨好的项目,让我损失了近一半的绩效!
· 清华大学推出第四讲使用 DeepSeek + DeepResearch 让科研像聊天一样简单!
· 实操Deepseek接入个人知识库
· CSnakes vs Python.NET:高效嵌入与灵活互通的跨语言方案对比
· Plotly.NET 一个为 .NET 打造的强大开源交互式图表库
点击右上角即可分享
微信分享提示
主题色彩