随笔分类 - hadoop
摘要:规划 ansible 节点 ansible controller 镜像rhel 8.2 镜像ansible hadoop 集群 master slave1 slave2 镜像centos 1810 0.初始化 hadoop集群配网络修改主机名 10.104.44.25 master 10.104.4
阅读全文
摘要:通过界面监控大数据平台运行状态 通过界面查看大数据平台状态 通过大数据平台 Hadoop 的用户界面可以查看平台的计算资源和存储资源。打开 http://master:8088/cluster/nodes 页面,可以查看大数据平台的状态汇总信息 通过界面查看 Hadoop 状态 大数据平台 Hado
阅读全文
摘要:告警和日志信息监控 hadoop集群启动 su - hadoop #切换到hadoop用户 [hadoop@master ~]$ start-all.sh #启动 zookeeper集群启动 zkServer.sh start #三个节点都要做 zkServer.sh status #查看集群状态
阅读全文
摘要:top 里的id为cpu空闲度 如果wa为99.8就是负担太重。得停掉一些任务 cat /proc/cpuinfo 查看cpu信息 cat /proc/meminfo 查看内存信息 hadoop基础操作 start-all.sh 切换到hadoop用户启动hadoop 三个节点启动zkserver
阅读全文
摘要:flume将所有主机hadoop的日志同步到hdfs里 (4.5.7.8) flume 需要设置第四章hadoop配置文件,启动hadoop,zookeeper集群设置,hbase配置 上传 flume 文件 解压到/usr/local/src 并改名 tar xf apache-flume-1.6
阅读全文
摘要:前提 配置hadoop配置文件 前提 启动hadoop 配置hive 改名进入sqoop/conf 增加环境变量 tar xf sqoop-1.4.7.bin__hadoop-2.6.0.tar.gz -C /usr/local/src/ cd /usr/local/src/ mv sqoop-1.
阅读全文
摘要:hadoop集群运行 需要提前配置配置文件 slave节点用户得是hadoop,/usr/local/src的所有文件得属于hadoop 三台虚拟机关闭setenforce与防火墙,并且配置域名解析 格式化NameNode [hadoop@master src]$ cd /usr/local/src
阅读全文
摘要:1.同步时间 yum -y install chrony vi /etc/chrony.conf pool time1.aliyun.com iburst 保存 systemctl enable --now chronyd systemctl status chronyd 2.安装hbase tar
阅读全文
摘要:hadoop三台主机免密设置 文件权限 .ssh 700 id_rsa 600 id_rsa.pub 644 环境rhel8 需要三台主机 master slave1 slave2 配置三台主机同一网段 10.10.10.0/24 [root@maoqiyang network-scripts]#
阅读全文
摘要:hadoop部署步骤: 环境rhel8.2 1.配置主机网络信息 使物理机能和主机ping通 使用secureCRT与虚拟连接 设置网卡(dhcp) [root@maoqiyang ~]# nmcli device connect ens160 Device 'ens160' successfull
阅读全文