2023年11月4日
Hadoop-3.3.3分布式集群的文件配置，配置启动hadoop历史服务和启动日志聚集
摘要： 一、分布式集群的文件配置 涉及$HADOOP_HOME/etc/hadoop路径下的5个文件 workers、core-site.xml、hdfs-site.xml、mapred-site.xml、yarn-site.xml 个人的配置 hadoop100 hadoop102 hadoop103 首 阅读全文
posted @ 2023-11-04 16:52 Evelynlb 阅读(107) 评论(0) 推荐(0) 编辑
虚拟机集群ssh配置免密登录
摘要： 在dn节点机首先安装ssh，没有就执行以下代码 sudo apt-get install openssh-server 然后 cd ~/.ssh 如果没有该路径就执行一次 ssh localhost 然后执行以下代码，删除之前可能生成过的私钥，公钥 rm ./id_rsa* 执行以下代码，然后三次回 阅读全文
posted @ 2023-11-04 14:07 Evelynlb 阅读(91) 评论(0) 推荐(0) 编辑
hadoop 将nn节点的环境配置同步到dn节点
摘要： 使用scp命令克隆配置 输入 sudo scp -r jdk1.8.0_391/ hxf@slaver2:/opt/module 报错ssh: Could not resolve hostname hxf: Temporary failure in name resolution lost conn 阅读全文
posted @ 2023-11-04 01:49 Evelynlb 阅读(29) 评论(0) 推荐(0) 编辑
Finalshell给虚拟机安装JDK1.8，hadoop-3.3.3，hive3.1.2并配置环境
摘要： 点击红框按钮，把下载好的jdk，hadoop，hive安装包上传到指定路径 我的路径是/home/用户名/Downloads 查看上传文件 sudo tar -zxvf /home/hxf/Downloads/jdk-8u391-linux-x64.tar.gz -C /opt/module/ su 阅读全文
posted @ 2023-11-04 00:11 Evelynlb 阅读(240) 评论(0) 推荐(0) 编辑
2023年11月3日
finalshell 链接Ubuntu
摘要： 在上一节中已经设置好了虚拟机的地址映射，本节在路径C:\Windows\System32\drivers\etc中找到hosts文件，如红框所示将主机的地址映射添加保存 （若无法保存hosts文件，可以使用管理员权限打开记事本再编辑hosts文件。如此就可以编辑保存hosts文件了） 下载final 阅读全文
posted @ 2023-11-03 23:36 Evelynlb 阅读(344) 评论(0) 推荐(0) 编辑
2023年11月2日
Ubuntu 修改主机名和hosts文件并克隆虚拟机初步搭建集群
摘要： 进入终端输入 sudo vim /etc/hosts 像红框里一样，添加自己虚拟机的主机名称映射 然后终端输入reboot 重启虚拟机 然后操作参考Ubuntu20虚拟机克隆以及克隆后静态IP和主机名的修改_ubuntu克隆后修改ip-CSDN博客 阅读全文
posted @ 2023-11-02 23:26 Evelynlb 阅读(40) 评论(0) 推荐(0) 编辑
Ubuntu 安装hadoop相关包
摘要： sudo apt install net-tools sudo apt install vim sudo apt install openssh-server sudo apt install build-essential 阅读全文
posted @ 2023-11-02 22:42 Evelynlb 阅读(12) 评论(0) 推荐(0) 编辑
Ubuntu22.04更新apt
摘要： 进入软件页面 点击这个按钮 在以下界面选择other，点击close 在以下界面选择select best server，来判断那个服务器的最适合 然后一路往下，最后reload 完成后点击以下软件 install now 等待一下然后点击restart now重启即可 阅读全文
posted @ 2023-11-02 22:34 Evelynlb 阅读(69) 评论(0) 推荐(0) 编辑