常见端口 - 大数据

1. hadoop

（1）指定 HDFS 中 NameNode 的地址

<!-- 指定 HDFS 中 NameNode 的地址 -->
<!-- core-site.xml -->
<property> 
    <name>fs.defaultFS</name>         
    <value>hdfs://hadoop101:9000</value> 
</property>

（2） HDFS 文件系统的web UI

　　默认：http://hadoop101:50070

　　hadoop101为NameNode的IP地址

 

（3）YARN 的web UI

　　默认：http://hadoop101:8088

　　hadoop101为ResouceManager的IP地址

（4）日志历史服务器

<!-- mapred-site.xml --> 

<!-- 历史服务器端地址 --> 
<property> 
    <name>mapreduce.jobhistory.address</name> 
    <value>hadoop101:10020</value> 
</property> 

<!-- 历史服务器 web 端地址 --> 
<property> 
    <name>mapreduce.jobhistory.webapp.address</name> 
    <value>hadoop101:19888</value> 
</property>

（5）Hadoop 辅助名称节点主机配置

<!-- hdfs-site.xml --> 
<!-- 指定 Hadoop 辅助名称节点主机配置 --> 
<property> 
    <name>dfs.namenode.secondary.http-address</name> 
    <value>hadoop104:50090</value> 
</property>

 2. Spark

　　Spark 查看当前 Spark-shell 运行任务情况端口号：4040（计算）

　　Spark Master 内部通信服务端口号：7077

　　Standalone 模式下，Spark Master Web 端口号：8080（资源）

　　Spark 历史服务器端口号：18080

　　Hadoop YARN 任务运行情况查看端口号：8088