大数据——搭建第一台Hadoop主机
工具准备#
1、VMware
2、CentOS 7 最小安装版
3、远程工具推荐使用 FinalShell
安装系统#
1、打开VMware,根据自己的情况配置好虚拟机,选择系统镜像就可以安装了,可自行百度“VMware如何安装CentOS”
2、打开虚拟机后,选中Test this media & install CentOS 7
,回车进行安装
3、语言设置为中文:简体中文
4、时间日期:根据实际情况设置即可
5、配置磁盘,使用默认配置也行
选中我要配置分区
,点击完成
,进入手动分区
/boot
:1Gswap
:4G/
:剩下全部
6、学习用机,可以关闭KDUMP
7、设置完成后,可以点击开始安装
,安装过程中记得设置root
用户密码
配置网络#
我们需要配置3处
1、配置VMware
右上角编辑->虚拟机网络编辑器
,进入更改设置
后,选中VMnet8进行设置
- 子网IP:
192.168.10.0
- 子网掩码:
255.255.255.0
- 在NAT设置中将网关设置为:
192.168.10.2
2、配置Windows网卡
我们打开网络连接界面:按“Win+R”,打开【运行】;输入“ncpa.cpl”,回车。
找到VMnet8,右键属性,找到“Internet 协议版本 4(TCP/IPv4)”,双击进入属性设置
根据步骤一,填入对应位置
3、配置CentOS 7
我们以root
用户登录
vi /etc/sysconfig/network-scripts/ifcfg-ens33
将BOOTPROTO="dynamic"
更改为BOOTPROTO="static"
在最后添加下面几句,注意不要拼写错误
IPADDR=192.168.10.100
GATEWAY=192.168.10.2
DNS1=192.168.10.2
修改hostname
,改为hadoop100
(随意啦,你自己记得就行)
vi /etc/hostname
添加主机名和IP的映射关系(方便用主机名代替IP)
vi /etc/hosts
#我就象征性写了几个,后面用到再添加也可以
192.168.10.100 hadoop100
192.168.10.101 hadoop101
192.168.10.102 hadoop102
192.168.10.103 hadoop103
192.168.10.104 hadoop104
重启
reboot
4、测试网络
重启进入系统后,测试网络是否畅通
ping www.baidu.com
如果网络不可达,注意检查拼写错误。网络畅通是必须的,解决完再进行下一步哦。
配置环境#
1、最小系统需要安装下面的工具
net-tool
工具包
yum install -y net-tools
vim
编辑器
yum install -y vim
epel-release
软件仓库
yum install -y epel-release
rsync
:数据同步工具
yum install -y rsync
2、关闭防火墙,禁用开机自启(学习用途)
systemctl stop firewalld
systemctl disable firewalld.service
3、创建用户,并修改密码
useradd swcode
passwd swcode
4、配置用户的root
权限,否则sudo
无法执行
vim /etc/sudoers
# 在 %wheel 下面添加,NOPASSWD无需密码
swcode ALL=(ALL) NOPASSWD:ALL
:wq!
强制保存即可
5、在/opt
目录下创建文件夹,并修改所属主和所属组(root
下执行)
mkdir /opt/module
mkdir /opt/software
chown swcode:swcode /opt/module
chown swcode:swcode /opt/software
下面是成功的样子
drwxr-xr-x. 2 swcode swcode 6 11月 14 11:34 module
drwxr-xr-x. 2 swcode swcode 6 11月 14 11:34 software
6、卸载虚拟机自带JDK
(最小版是没有的,可以忽略这一步)
rpm -qa | grep -i java | xargs -n1 rpm -e --nodeps
rpm -qa
:查询所安装的所用rpm
软件包grep -i
:忽略大小写xargs -n1
:每次只传递一个参数rpm -e --nodeps
:强制卸载软件
7、重启虚拟机
reboot
下篇文章:克隆主机并配置集群
所有文章:
搭建第一台Hadoop主机
克隆主机并配置集群
配置并启动集群/开启历史服务器和日志聚集
作者:sw-code
出处:https://www.cnblogs.com/sw-code/p/15554868.html
版权:本作品采用「署名-非商业性使用-相同方式共享 4.0 国际」许可协议进行许可。
未经作者同意,请勿转载;若经同意转载,请在文章明显位置注明作者和出处。
【推荐】编程新体验,更懂你的AI,立即体验豆包MarsCode编程助手
【推荐】凌霞软件回馈社区,博客园 & 1Panel & Halo 联合会员上线
【推荐】抖音旗下AI助手豆包,你的智能百科全书,全免费不限次数
【推荐】博客园社区专享云产品让利特惠,阿里云新客6.5折上折
【推荐】轻量又高性能的 SSH 工具 IShell:AI 加持,快人一步
· [.NET]调用本地 Deepseek 模型
· 一个费力不讨好的项目,让我损失了近一半的绩效!
· .NET Core 托管堆内存泄露/CPU异常的常见思路
· PostgreSQL 和 SQL Server 在统计信息维护中的关键差异
· C++代码改造为UTF-8编码问题的总结
· 一个费力不讨好的项目,让我损失了近一半的绩效!
· 清华大学推出第四讲使用 DeepSeek + DeepResearch 让科研像聊天一样简单!
· 实操Deepseek接入个人知识库
· CSnakes vs Python.NET:高效嵌入与灵活互通的跨语言方案对比
· Plotly.NET 一个为 .NET 打造的强大开源交互式图表库