摘要: java 基本数据类型Java基本类型共有八种,基本类型可以分为三类,字符类型char,布尔类型boolean以及数值类型byte、short、int、long、float、double。数值类型又可以分为整数类型byte、short、int、long和浮点数类型fl... 阅读全文
posted @ 2016-10-15 22:01 yuerspring 阅读(194) 评论(0) 推荐(0) 编辑
摘要: 算子优化 MapPartitionsspark中,最基本的原则,就是每个task处理一个RDD的partition。MapPartitions操作的优点:如果是普通的map,比如一个partition中有1万条数据;ok,那么你的function要执行和计算1万次。但... 阅读全文
posted @ 2016-10-15 19:37 yuerspring 阅读(125) 评论(0) 推荐(0) 编辑
摘要: 1.列举spark 比hadoop 快的原 因 ,以及现在存在的主要问题2.描述下使用spark streaming 和 GraphX实现实时计算的可行性,以及可能会遇到的问题3.GraphX的Pregel API 只支持有向图遍历 ,如何实现无xiang 遍历,描... 阅读全文
posted @ 2016-10-15 13:37 yuerspring 阅读(120) 评论(0) 推荐(0) 编辑