摘要：编写集群分发脚本xsync 1）scp 安全拷贝 1）定义: scp可以实现服务器与服务器之间的数据拷贝 2）特点 scp会把整个文件对象赋值到目标服务器上 3)基本语法 scp -r $pdir/$fname $user@$host:$pdir/$fname 命令 递归 要拷贝的文件路径/名称 目 阅读全文

摘要：Linux中环境变量的搭建(推荐用法) 第一步:进入到/etc/profile.d文件夹下 cd /etc/profile.d 第二步：创建并编辑一个my_env.sh文件 vim my_env.sh 第三步:搭建环境，以下为案例模板 #JAVA_HOME export JAVA_HOME=/opt 阅读全文

摘要：运行hadoop程序时,I/O操作、网络数据传输、shuffle和merge要花大量的时间，尤其是数据规模很大和工作负载密集的情况下，这个时候，使用数据压缩可以提高效率 阅读全文