随笔分类 -  Hadoop

docker安装Hadoop
摘要：拉取镜像 [root@ecs-e722 ~]# docker pull registry.cn-hangzhou.aliyuncs.com/hadoop_test/hadoop_base Using default tag: latest Trying to pull repository regi 阅读全文
posted @ 2023-01-31 15:56 kongshuo 阅读(298) 评论(2) 推荐(0) 编辑
大数据平台及组件安装部署
摘要：Hadoop全分布部署 Hadoop集群验证 使用jps查看各个节点启动的进程情况 [hadoop@master ~]$ jps 2224 ResourceManager 2487 Jps 2059 SecondaryNameNode 1852 NameNode [hadoop@slave1 ~]$ 阅读全文
posted @ 2022-06-03 14:46 kongshuo 阅读(104) 评论(0) 推荐(0) 编辑
告警和日志信息监控
摘要：查看大数据平台日志信息 查看大数据平台主机日志 [hadoop@master ~]$ cd /var/log [hadoop@master log]$ ll total 1180 drwxr-xr-x. 2 root root 4096 Mar 26 11:07 anaconda drwx . 2 阅读全文
posted @ 2022-05-27 16:33 kongshuo 阅读(901) 评论(0) 推荐(0) 编辑
大数据平台监控界面和报表
摘要：监控大数据平台运行状态 查看大数据平台状态 http://master:8088/cluster/nodes 或 http://10.10.10.128:8088/cluster/nodes 查看Hadoop状态 http://master:50070 或 http://10.10.10.128:5 阅读全文
posted @ 2022-05-26 14:00 kongshuo 阅读(190) 评论(0) 推荐(0) 编辑
大数据平台监控
摘要：一、监控大数据平台 查看Linux系统信息 [root@master ~]# uname -a Linux master 4.18.0-373.el8.x86_64 #1 SMP Tue Mar 22 15:11:47 UTC 2022 x86_64 x86_64 x86_64 GNU/Linux 阅读全文
posted @ 2022-05-17 15:20 kongshuo 阅读(210) 评论(0) 推荐(0) 编辑
flume组件
摘要：一、下载并传入包 下载地址:https://archive.apache.org/dist/flume/1.6.0/ 二、部署flume组件 #解压包 [root@master ~]# tar xf apache-flume-1.6.0-bin.tar.gz -C /usr/local/src/ # 阅读全文
posted @ 2022-05-06 15:23 kongshuo 阅读(62) 评论(0) 推荐(0) 编辑
Sqoop组件
摘要：一、传Sqoop软件包并解压改名 下载地址:https://mirror-hk.koddos.net/apache/sqoop/ win+R cmd C:\Users\Administrator>scp -r C:\\Administrator\Downloads\sqoop-1.4.7.bin__ 阅读全文
posted @ 2022-04-29 17:29 kongshuo 阅读(49) 评论(0) 推荐(0) 编辑
HBase安装
摘要：一、配置时间同步 master yum -y install chrony vi /etc/chrony.conf pool time1.aliyun.com iburst systemctl enable --now chronyd systemctl status chronyd 二、部署HBa 阅读全文
posted @ 2022-04-27 20:40 kongshuo 阅读(44) 评论(0) 推荐(0) 编辑
Zookeeper安装
摘要：一、配置时间同步 yum -y install chrony vi /etc/chrony.conf pool time1.aliyun.com iburst 二、部署zookeeper master配置 [root@master conf]# tar xf zookeeper-3.4.8.tar. 阅读全文
posted @ 2022-04-22 15:20 kongshuo 阅读(63) 评论(0) 推荐(0) 编辑
Hive组建
摘要：一、检查进程是否运行 在所有节点执行： su - hadoop jps #要在master上看到NameNode、Secondarynamenode、ResourceManager三个进程，要在slave1、slave2上看到DataNode、Nodemanager进程 若进程没运行输入以下命令： 阅读全文
posted @ 2022-04-08 16:50 kongshuo 阅读(50) 评论(0) 推荐(0) 编辑
Hadoop安装
摘要：将软件包hadoop和jdk传入 1.配置网络信息、主机名以及主机名与IP地址的映射关系(在所有节点上执行) vi /etc/sysconfig/network-scripts/ifcfg-网卡名 TYPE=Ethernet NAME=网卡名 DEVICE=网卡名 BOOTPROTO=static 阅读全文
posted @ 2022-04-08 14:52 kongshuo 阅读(51) 评论(0) 推荐(0) 编辑
Hadoop集群运行
摘要：#master上操作 su - hadoop cd /usr/local/src/hadoop/ ./bin/hdfs namenode -format hadoop-daemon.sh start namenode hadoop-daemon.sh start secondarynamenode 阅读全文
posted @ 2022-04-05 17:40 kongshuo 阅读(39) 评论(0) 推荐(0) 编辑

点击右上角即可分享
微信分享提示