大数据HDFS集群相关概念
一、Zookeeper服务
端口 | 描述 | 配置路径 |
2181 | 主要使用端口,对cline端提供服务。连接方式jdbc:hive2://ip:2181 | conf/zoo.cfg中clientPort |
2183 | 选举leader使用 | conf/zoo.cfg中server.x=2182:2183 |
2182 | 集群内机器通讯使用(Leader监听此端口) | conf/zoo.cfg中server.x=2182:2183 |
二、Hive服务
端口 | 描述 | 配置路径 |
7004 | Metastore,连接方式thrift://ip:7004 | hive-site.xml 的hive.metastore.port |
7001 | HiveServer2 | hive-site.xml 的hive.server2.thrift.port |
三、Yarn服务
服务 | 端口 | 描述 | 配置路径 |
ResourceManager | 5000 | RM的applications manager端口 | yarn.resourcemanager.address |
5001 | scheduler组件的IPC端口 | yarn.resourcemanager.scheduler.address | |
5002 | IPC | yarn.resourcemanager.resource-tracker.address | |
5003 | IPC | yarn.resourcemanager.admin.address | |
5004 | http服务端口 | yarn.resourcemanager.webapp.address | |
NodeManager | 8040 | localizer IPC | yarn.nodemanager.localizer.address |
8042 | http服务端口 | yarn.nodemanager.webapp.address | |
8041 | NM中container manager的端口 | yarn.nodemanager.address | |
JobHistory Server | 5022 | IPC | mapreduce.jobhistory.address |
5023 | MR jobhistory admin地址,用以接收history admin命令 | mapreduce.jobhistory.admin.address | |
5024 | http服务端口 | mapreduce.jobhistory.webapp.address |
四、HDFS服务
服务 | 端口 | 描述 | 配置路径 |
DataNode | 50010 | datanode服务端口,用于数据传输 | dfs.datanode.address |
50075 | http服务的端口 | dfs.datanode.http.address | |
50475 | https服务的端口 | dfs.datanode.https.address | |
50020 | ipc服务的端口 | dfs.datanode.ipc.address | |
NameNode | 4008 | http服务的端口 | dfs.namenode.http-address |
4009 | https服务的端口 | dfs.namenode.https-address | |
8020 | 接收Client连接的RPC端口,用于获取文件系统metadata信息。 | fs.defaultFS |