摘要：
可以看下面的文档： https://spoddutur.github.io/spark-notes/distribution_of_executors_cores_and_memory_for_spark_application.html 阅读全文
posted @ 2020-06-30 11:20
sky乐学
阅读(150)
评论(0)
推荐(0)
摘要：
combineByKeyWithClassTag 相当于Mapreduce自定义combine，可以提高任务的执行效率，毕竟在map端已经聚合过了 def combineByKeyWithClassTag[C]( createCombiner: V => C, //map端，改变 v 的返回值类型 阅读全文
posted @ 2020-05-28 11:07
sky乐学
阅读(132)
评论(0)
推荐(0)
摘要：
2年没使用scala，快忘的差不多了，最近开始以spark搞智能推荐，边回顾边开发吧 scala中操作符(::/+:/:+//+=//++=)的使用，以及在mutable/immutable的区别 有篇博客的图片整理的很到位，这里记录一下 详细参考： https://blog.csdn.net/z1 阅读全文
posted @ 2020-05-28 11:02
sky乐学
阅读(137)
评论(0)
推荐(0)
摘要：
导入maven项目，不自动下载依赖 使用IDEA import maven项目不有的时候不自动下载依赖，这时候，右键pom文件， 选择maven，reimport即可 下载maven依赖报错，在远程仓库找不到 <build> <sourceDirectory>src/main/scala</sour 阅读全文
posted @ 2020-05-28 09:27
sky乐学
阅读(225)
评论(0)
推荐(0)
摘要：
idea 创建工作空间(空项目) 项目组 创建一个空项目 在空项目的Project Structure - Modules里分别创建自己的module，这样python/maven项目就能并存在你的项目里了 详细看https://jingyan.baidu.com/article/a378c960e 阅读全文
posted @ 2020-04-20 14:43
sky乐学
阅读(228)
评论(0)
推荐(0)
摘要：
centos在7.x以后，默认使用firewalld来管理防火墙，之前的iptables 默认不支持了 在centos7中执行service iptables start 报如下错误 解决办法：使用firewalld来管理防火墙，或者停用firewalld，重新安装iptables 这里还是使用ip 阅读全文
posted @ 2019-09-25 13:37
sky乐学
阅读(279)
评论(0)
推荐(0)
浙公网安备 33010602011771号