沉默的背影 X-Pacific

keep learning

2022年3月21日
HDFS原理
摘要： HDFS由namenode以及datanode两个角色组成 NameNode 作用 1、NameNode 负责整个分布式文件系统的元数据（MetaData）管理，也就是文件路径名、数据块的 ID 以及存储位置等信息2、接受DD上报的信息3、给DD分配任务（维护副本数） 元数据的存储文件方式：edit 阅读全文
posted @ 2022-03-21 20:41 乂墨EMO 阅读(337) 评论(0) 推荐(0) 编辑
spark调度原理描述
摘要： spark调度的几个概念 集群 一个spark集群可以同时运行多个spark应用 应用 1、main方法、spark-shell、spark-submit能够运行的spark程序 2、可以理解为创建SparkContext的driver运行的程序 3、一个spark应用可以运行多个job job j 阅读全文
posted @ 2022-03-21 17:32 乂墨EMO 阅读(83) 评论(0) 推荐(0) 编辑