摘要: 一、flatMap 作用:首先将函数应用于RDD的所有元素,然后将结果展平,返回一个新的RDD。 应用场景:文件中的所有行数据仅返回了一个数组对象。(即:Map映射 + 数据扁平化操作) 二、Map 作用:将处理的数据逐条进行映射转换,这里的转换可以是类型的转换,也可以是值的转换。通过将函数应用于此 阅读全文
posted @ 2022-02-17 17:26 干了这瓶老干妈 阅读(450) 评论(0) 推荐(0) 编辑
摘要: 参考文章: Spark中cache和persist的作用以及存储级别 阅读全文
posted @ 2022-02-17 16:31 干了这瓶老干妈 阅读(37) 评论(0) 推荐(0) 编辑
摘要: Intellij IDEA一启动就弹出如下: 解决: 1、进入IDEA的安装目录进入bin目录下,找到如下两个文件 2、查看你的IDEA的属性,确定用的是32位还是64位的启动器 3、用记事本打开相应的idea.exe.vmoptions 文件,修改第二行 -Xmx的大小(64位默认是750) 注意 阅读全文
posted @ 2022-02-17 11:51 干了这瓶老干妈 阅读(1763) 评论(0) 推荐(0) 编辑
摘要: k8s的node节点使用kubectl命令时,如kubectl get pods --all-namespaces 出现如下错误: [root@k8s-node239 ~]# kubectl get pods The connection to the server localhost:8080 w 阅读全文
posted @ 2022-02-17 09:09 干了这瓶老干妈 阅读(6522) 评论(0) 推荐(1) 编辑
Live2D