摘要:
hadoop介绍 Hadoop是一个能够对大量数据进行分布式处理的软件框架。以一种可靠、高效、可伸缩的方式进行数据处理。主要包括三部分内容:Hdfs,MapReduce,Yarn hadoop版本 Hadoop2.0即为克服Hadoop1.0中的不足,提出了以下关键特性: Yarn:它是Hadoop 阅读全文
摘要:
简单介绍yarn yarn是一个资源管理、任务调度的框架。主要包含三个模块:resourceManger、nodeManger、ApplicationMater。 简单介绍三个组件的作用 RM:负责所有资源的监控、分配和管理 AM:负责每一个具体应用程序的调度和协调 --applicationmas 阅读全文
摘要:
Linux下七种文件类型 文件类型标识文件类型 - 普通文件 d 目录 l 符号链接 s(伪文件) 套接字 b(伪文件) 块设备 c(伪文件) 字符设备 p(伪文件) 管道 占用存储空间的类型:文件、目录、符号链接。符号链接记录的是路径,路径不长时存在innode里面。其他四种:套接字、块设备、字符 阅读全文