BigData——Hadoop相关

HADOOP 相关知识

Hadoop的优势

⒈高可靠性。Hadoop按位存储和处理数据的能力值得人们信赖。
⒉高扩展性。Hadoop是在可用的计算机集簇间分配数据并完成计算任务的，这些集簇可以方便地扩展到数以千计的节点中。
⒊高效性。Hadoop能够在节点之间动态地移动数据，并保证各个节点的动态平衡，因此处理速度非常快。
⒋高容错性。Hadoop能够自动保存数据的多个副本，并且能够自动将失败的任务重新分配。

Hadoop启动后能看到哪些进程

可以看到主节点上有三个进程 : Namenode、Secondarnamenode、Resourcemanager
从节点上有两个进程 : Datanode和Nodenodemanager

• Namenode：它是Hadoop 中的主服务器，管理文件系统名称空间和对集群中存储的文件的访问。
• Secondarnamenode：它不是 namenode 的冗余守护进程，而是提供周期检查点和清理任务。用来监控HDFS状态的辅助后台程序
• Resourcemanager: YARN中，ResourceManager负责集群中所有资源的统一管理和分配，它接收来自各个节点的资源汇报信息，并把这些信息按照一定的策略分配给各个应用程序与每个节点的管理者和每个应用开发者一起工作。
• Datanode：负责管理它所在结点上存储的数据的读写，及存储数据；每个Datanode结点会周期性地向Namenode发送心跳信号和文件块状态报告；执行数据的流水线复制。
• Nodenodemanager：运行在单个节点上的代理，它管理Hadoop集群中单个计算节点，功能包括与ResourceManager保持通信，管理Container的生命周期、监控每个Container的资源使用(内存、CPU等）情况、追踪节点健康状况、管理日志和不同应用程序用到的附属服务