摘要: combineByKeyWithClassTag 相当于Mapreduce自定义combine,可以提高任务的执行效率,毕竟在map端已经聚合过了 def combineByKeyWithClassTag[C]( createCombiner: V => C, //map端,改变 v 的返回值类型 阅读全文
posted @ 2020-05-28 11:07 sky乐学 阅读(125) 评论(0) 推荐(0) 编辑
摘要: 2年没使用scala,快忘的差不多了,最近开始以spark搞智能推荐,边回顾边开发吧 scala中操作符(::/+:/:+//+=//++=)的使用,以及在mutable/immutable的区别 有篇博客的图片整理的很到位,这里记录一下 详细参考: https://blog.csdn.net/z1 阅读全文
posted @ 2020-05-28 11:02 sky乐学 阅读(133) 评论(0) 推荐(0) 编辑
摘要: 导入maven项目,不自动下载依赖 使用IDEA import maven项目不有的时候不自动下载依赖,这时候,右键pom文件, 选择maven,reimport即可 下载maven依赖报错,在远程仓库找不到 <build> <sourceDirectory>src/main/scala</sour 阅读全文
posted @ 2020-05-28 09:27 sky乐学 阅读(211) 评论(0) 推荐(0) 编辑