大数据——克隆主机并配置集群
上个文章搭建了一个Hadoop主机,我们用该主机进行主机克隆
克隆主机#
利用VMware的克隆功能,克隆出hadoop102
、hadoop103
、hadoop104
三台主机
克隆完成后,记得修改文件(root
用户下)
vim /etc/sysconfig/network-scripts/ifcfg-ens33
vim /etc/hostname
安装JDK#
在主机hadoop102
中安装JDK
上传jdk到/opt/software
文件夹中
cd /opt/software
# 安装到module中
tar -zxvf jdk-8u301-linux-x64.tar.gz -C /opt/module
配置jdk环境变量
系统启动时会加载/etc/profile.d/
中的所有.sh
文件
新建文件my_env.sh
cd /etc/profile.d/
vim sudo vim my_env.sh
# 写入环境
#JAVA_HOME
export JAVA_HOME=/opt/module/jdk1.8.0_301
export PATH=$PATH:$JAVA_HOME/bin
保存退出后,刷新环境
source /etc/profile
检查是否安装成功
java
安装Hadoop#
上传hadoop到/opt/software
文件夹中
tar -zxvf hadoop-3.1.3.tar.gz -C /opt/module
配置环境变量
sudo vim /etc/profile.d/my_env.sh
#HADOOP_HOME
export HADOOP_HOME=/opt/module/hadoop-3.1.3
export PATH=$PATH:$HADOOP_HOME/bin
export PATH=$PATH:$HADOOP_HOME/sbin
保存退出后,刷新环境
source /etc/profile
检查是否安装成功
hadoop
配置其余主机#
编写集群分发脚本,递归复制到目的主机
主机和IP做过映射关系:
swcode@IP/主机
使用scp拷贝文件#
下面是三种拷贝方式,使用哪一种都可以
在hadoop102
上使用scp
拷贝
cd /opt/module
scp -r jdk1.8.0_301/ swcode@hadoop103:/opt/module
在hadoop103
上使用scp
拉取
cd /opt/module
scp -r swcode@hadoop102:/opt/module/hadoop-3.1.3 ./
在hadoop103
上使用scp
将hadoop102
拷贝到hadoop104
scp -r swcode@hadoop102:/opt/module/* swcode@192.168.10.104:/opt/module/
使用rsync同步文件#
1、安装(root
用户下)
sudo yum install -y rsync
2、编写脚本xsync
,放到~/bin
下即可使用,别忘了chomd
执行权限(swcode
用户下)
#!/bin/bash
#1. 判断参数个数
if [ $# -lt 1 ]
then
echo Not Enough Arguement!
exit;
fi
#2. 遍历集群所有机器
for host in hadoop102 hadoop103 hadoop104
do
echo =============== $host ===============
#3. 遍历所有目录,挨个发送
for file in $@
do
#4. 判断文件是否存在
if [ -e $file ]
then
#5. 获取父目录
pdir=$(cd -P $(dirname $file); pwd)
#6. 获取当前文件的名称
fname=$(basename $file)
ssh $host "mkdir -p $pdir"
rsync -av $pdir/$filename $host:$pdir
else
echo $file does not exists!
fi
done
done
3、同步环境(root
用户下)
/home/swcode/bin/xsync /etc/profile.d/my_env.sh
配置免密登录#
在拷贝时需要输入很多次密码,为了方便使用,需要配置主机之间的免密登录
在hadoop102
中配置(swcode
用户下)
ssh-keygen -t rsa
三次回车后,我们将公钥复制到免密登录的主机
# 映射关系 hadoop103 192.168.10.103
ssh-copy-id hadoop102
ssh-copy-id hadoop103
ssh-copy-id hadoop104
同理,配置hadoop103
、hadoop104
,三台主机之间互相登录都是免密的
如果需要配置root
用户之间的免密,需要切换到root
用户,重复上述操作
下篇文章:配置并启动集群/开启历史服务器和日志聚集
所有文章:
搭建第一台Hadoop主机
Linux之间的文件传输方式
克隆主机并配置集群
配置并启动集群/开启历史服务器和日志聚集
作者:sw-code
出处:https://www.cnblogs.com/sw-code/p/15558029.html
版权:本作品采用「署名-非商业性使用-相同方式共享 4.0 国际」许可协议进行许可。
未经作者同意,请勿转载;若经同意转载,请在文章明显位置注明作者和出处。
【推荐】编程新体验,更懂你的AI,立即体验豆包MarsCode编程助手
【推荐】凌霞软件回馈社区,博客园 & 1Panel & Halo 联合会员上线
【推荐】抖音旗下AI助手豆包,你的智能百科全书,全免费不限次数
【推荐】博客园社区专享云产品让利特惠,阿里云新客6.5折上折
【推荐】轻量又高性能的 SSH 工具 IShell:AI 加持,快人一步
· [.NET]调用本地 Deepseek 模型
· 一个费力不讨好的项目,让我损失了近一半的绩效!
· .NET Core 托管堆内存泄露/CPU异常的常见思路
· PostgreSQL 和 SQL Server 在统计信息维护中的关键差异
· C++代码改造为UTF-8编码问题的总结
· 一个费力不讨好的项目,让我损失了近一半的绩效!
· 清华大学推出第四讲使用 DeepSeek + DeepResearch 让科研像聊天一样简单!
· 实操Deepseek接入个人知识库
· CSnakes vs Python.NET:高效嵌入与灵活互通的跨语言方案对比
· Plotly.NET 一个为 .NET 打造的强大开源交互式图表库