摘要: spark sql 应用实例随笔//define the schema using a case class//必须为case class,否则无法隐式转换case class Person(name:String, age: Int)//create an RDD of Person object... 阅读全文
posted @ 2015-12-30 16:55 逸新 阅读(300) 评论(0) 推荐(0) 编辑
摘要: 前提storageLevel != null读源码查看先看ietrator,查看storageLevel看sparkEnv.getMemoryManger,通过block manager来操作具体的storage,a list of partitions;RDD获取缓存实质上通过block mana... 阅读全文
posted @ 2015-12-30 11:15 逸新 阅读(314) 评论(0) 推荐(0) 编辑