11 2020 档案
发表于 2020-11-26 16:37阅读:250评论:0推荐:0
摘要:编写集群分发脚本xsync 1)scp 安全拷贝 1)定义: scp可以实现服务器与服务器之间的数据拷贝 2)特点 scp会把整个文件对象赋值到目标服务器上 3)基本语法 scp -r $pdir/$fname $user@$host:$pdir/$fname 命令 递归 要拷贝的文件路径/名称 目
阅读全文 »
发表于 2020-11-26 11:15阅读:958评论:1推荐:1
摘要:Linux中环境变量的搭建(推荐用法) 第一步:进入到/etc/profile.d文件夹下 cd /etc/profile.d 第二步:创建并编辑一个my_env.sh文件 vim my_env.sh 第三步:搭建环境,以下为案例模板 #JAVA_HOME export JAVA_HOME=/opt
阅读全文 »
发表于 2020-11-25 20:06阅读:328评论:0推荐:0
摘要:运行hadoop程序时,I/O操作、网络数据传输、shuffle和merge要花大量的时间,尤其是数据规模很大和工作负载密集的情况下,这个时候,使用数据压缩可以提高效率
阅读全文 »