2016年12月14日
Spark-RDD/DataFrame/DateSet
摘要： RDD 优点: 编译时类型安全编译时就能检查出类型错误 面向对象的编程风格直接通过类名点的方式来操作数据 缺点: 序列化和反序列化的性能开销无论是集群间的通信, 还是IO操作都需要对对象的结构和数据进行序列化和反序列化. GC的性能开销频繁的创建和销毁对象, 势必会增加GCimport org.apache.spark.sql.SQLContext import org.apache.sp... 阅读全文
posted @ 2016-12-14 20:11 一人浅醉- 阅读(1430) 评论(0) 推荐(0) 编辑