摘要:
可以看下面的文档: https://spoddutur.github.io/spark-notes/distribution_of_executors_cores_and_memory_for_spark_application.html 阅读全文
摘要:
combineByKeyWithClassTag 相当于Mapreduce自定义combine,可以提高任务的执行效率,毕竟在map端已经聚合过了 def combineByKeyWithClassTag[C]( createCombiner: V => C, //map端,改变 v 的返回值类型 阅读全文
摘要:
2年没使用scala,快忘的差不多了,最近开始以spark搞智能推荐,边回顾边开发吧 scala中操作符(::/+:/:+//+=//++=)的使用,以及在mutable/immutable的区别 有篇博客的图片整理的很到位,这里记录一下 详细参考: https://blog.csdn.net/z1 阅读全文
摘要:
导入maven项目,不自动下载依赖 使用IDEA import maven项目不有的时候不自动下载依赖,这时候,右键pom文件, 选择maven,reimport即可 下载maven依赖报错,在远程仓库找不到 <build> <sourceDirectory>src/main/scala</sour 阅读全文
摘要:
idea 创建工作空间(空项目) 项目组 创建一个空项目 在空项目的Project Structure - Modules里分别创建自己的module,这样python/maven项目就能并存在你的项目里了 详细看https://jingyan.baidu.com/article/a378c960e 阅读全文
摘要:
centos在7.x以后,默认使用firewalld来管理防火墙,之前的iptables 默认不支持了 在centos7中执行service iptables start 报如下错误 解决办法:使用firewalld来管理防火墙,或者停用firewalld,重新安装iptables 这里还是使用ip 阅读全文