摘要: RDD的依赖关系和Stage的分类 在Spark中,每一个RDD是对于数据集在某一状态下的表现形式,而这个状态有可能是从前一状态转换而来的,因此换句话说这一个RDD有可能与之前的RDD(s)有依赖关系。根据依赖关系的不同,可以将RDD分成两种不同的类型:Narrow Dependency和Wide 阅读全文
posted @ 2016-03-04 21:44 codingcat 阅读(140) 评论(0) 推荐(0) 编辑
摘要: The fundamental idea of MRv2 is to split up the two major functionalities of the JobTracker, resource management and job scheduling/monitoring, into s 阅读全文
posted @ 2016-03-04 21:42 codingcat 阅读(84) 评论(0) 推荐(0) 编辑
摘要: java.lang.NoClassDefFoundError:找不到相应的类文件,当编译源文件以后都会生成一些类文件:***.class,执行时要用java(main所在的类) ,如果找不到相应的类,执行就会出现NoClassDefFoundError的异常。1、首先请确认没有错敲成java xxx 阅读全文
posted @ 2016-03-04 21:41 codingcat 阅读(2051) 评论(0) 推荐(0) 编辑