摘要：
SparkRDD实现自定义排序实现Order接口， 原始方法：元组输出 部分代码如下： 方法一：自定义一个类， 实现Ordered自定义的排序 代码如下： 方法二：模式匹配方式进行排序 代码如下： 方法三：专门定义一个隐世类来排序 建议写成隐式类，应为可以将你需要的隐世装换全写在一个隐式类中，直接导 阅读全文
摘要：
案例一：计算网页访问量前三名 源数据大致预览： 编写Scala代码： 运行结果： 案例二：求出每个学院 访问第一位的网址,分组 编写Scala代码： 运行结果： 案例三：加入自定义分区 按照学院分区，相同的学院分为一个结果文件 编写Scala代码： 运行结果： 案例四：Spark访问数据库 把分组排 阅读全文
摘要：
1、RDD的缓存机制 RDD通过persist方法或cache方法可以将前面的计算结果缓存，但是并不是这两个方法被调用时立即缓存，而是触发后面的action时，该RDD将会被缓存在计算节点的内存中，并供后面重用。 通过查看源码发现cache最终也是调用了persist方法，默认的存储级别都是仅在内存 阅读全文