随笔分类 -  hadoop

摘要:规划 ansible 节点 ansible controller 镜像rhel 8.2 镜像ansible hadoop 集群 master slave1 slave2 镜像centos 1810 0.初始化 hadoop集群配网络修改主机名 10.104.44.25 master 10.104.4 阅读全文
posted @ 2022-06-05 15:02 supermao12 阅读(618) 评论(0) 推荐(0) 编辑
摘要:通过界面监控大数据平台运行状态 通过界面查看大数据平台状态 通过大数据平台 Hadoop 的用户界面可以查看平台的计算资源和存储资源。打开 http://master:8088/cluster/nodes 页面,可以查看大数据平台的状态汇总信息 通过界面查看 Hadoop 状态 大数据平台 Hado 阅读全文
posted @ 2022-05-27 19:14 supermao12 阅读(4761) 评论(0) 推荐(1) 编辑
摘要:告警和日志信息监控 hadoop集群启动 su - hadoop #切换到hadoop用户 [hadoop@master ~]$ start-all.sh #启动 zookeeper集群启动 zkServer.sh start #三个节点都要做 zkServer.sh status #查看集群状态 阅读全文
posted @ 2022-05-27 17:39 supermao12 阅读(3445) 评论(0) 推荐(0) 编辑
摘要:top 里的id为cpu空闲度 如果wa为99.8就是负担太重。得停掉一些任务 cat /proc/cpuinfo 查看cpu信息 cat /proc/meminfo 查看内存信息 hadoop基础操作 start-all.sh 切换到hadoop用户启动hadoop 三个节点启动zkserver 阅读全文
posted @ 2022-05-21 15:32 supermao12 阅读(73) 评论(0) 推荐(0) 编辑
摘要:flume将所有主机hadoop的日志同步到hdfs里 (4.5.7.8) flume 需要设置第四章hadoop配置文件,启动hadoop,zookeeper集群设置,hbase配置 上传 flume 文件 解压到/usr/local/src 并改名 tar xf apache-flume-1.6 阅读全文
posted @ 2022-05-06 15:26 supermao12 阅读(31) 评论(0) 推荐(0) 编辑
摘要:前提 配置hadoop配置文件 前提 启动hadoop 配置hive 改名进入sqoop/conf 增加环境变量 tar xf sqoop-1.4.7.bin__hadoop-2.6.0.tar.gz -C /usr/local/src/ cd /usr/local/src/ mv sqoop-1. 阅读全文
posted @ 2022-04-29 16:31 supermao12 阅读(167) 评论(0) 推荐(0) 编辑
该文被密码保护。
posted @ 2022-04-28 14:15 supermao12 阅读(2) 评论(0) 推荐(0) 编辑
该文被密码保护。
posted @ 2022-04-26 20:37 supermao12 阅读(1) 评论(0) 推荐(0) 编辑
摘要:hadoop集群运行 需要提前配置配置文件 slave节点用户得是hadoop,/usr/local/src的所有文件得属于hadoop 三台虚拟机关闭setenforce与防火墙,并且配置域名解析 格式化NameNode [hadoop@master src]$ cd /usr/local/src 阅读全文
posted @ 2022-04-25 19:43 supermao12 阅读(111) 评论(0) 推荐(0) 编辑
摘要:1.同步时间 yum -y install chrony vi /etc/chrony.conf pool time1.aliyun.com iburst 保存 systemctl enable --now chronyd systemctl status chronyd 2.安装hbase tar 阅读全文
posted @ 2022-04-24 22:11 supermao12 阅读(15) 评论(0) 推荐(0) 编辑
该文被密码保护。
posted @ 2022-04-23 20:48 supermao12 阅读(0) 评论(0) 推荐(0) 编辑
摘要:hadoop三台主机免密设置 文件权限 .ssh 700 id_rsa 600 id_rsa.pub 644 环境rhel8 需要三台主机 master slave1 slave2 配置三台主机同一网段 10.10.10.0/24 [root@maoqiyang network-scripts]# 阅读全文
posted @ 2022-03-18 19:46 supermao12 阅读(152) 评论(0) 推荐(0) 编辑
摘要:hadoop部署步骤: 环境rhel8.2 1.配置主机网络信息 使物理机能和主机ping通 使用secureCRT与虚拟连接 设置网卡(dhcp) [root@maoqiyang ~]# nmcli device connect ens160 Device 'ens160' successfull 阅读全文
posted @ 2022-03-11 23:08 supermao12 阅读(138) 评论(0) 推荐(0) 编辑

点击右上角即可分享
微信分享提示