2021 年 12月随笔档案 - sakura_xxg

java.io.InvalidClassException: scala.collection.mutable.WrappedArray$ofRef; 本地类不兼容：流 classdesc serialVersionUID = -5578289228658167167，本地类 serialVersionUID = 3456489343829468865

摘要：在本地idea提交jar到虚拟机spark集群时报错暂未解决阅读全文

posted @ 2021-12-31 17:21 sakura_xxg 阅读(286) 评论(3) 推荐(0) 编辑

大三寒假第十二天

摘要：1想在本地idea上写scala程序提交到远程spark集群上运行，失败 2.成功在虚拟机上安装了一个ideaIU，配置好了 3.完成了spark实验四RDD初级编程实验 4.明天学习spark实验五的相关知识阅读全文

posted @ 2021-12-31 16:03 sakura_xxg 阅读(19) 评论(0) 推荐(0) 编辑

大三寒假第十一天

摘要：今天尝试在本地idea提交任务到spark集群上运行，无果阅读全文

posted @ 2021-12-30 16:44 sakura_xxg 阅读(10) 评论(0) 推荐(0) 编辑

大三寒假第十天

摘要：1.今天完成了昨天剩下的spark实验三的内容（关于sbt的安装和使用） 2.接下来学习RDD初级编程，继续完成实验四知识总结： spark的rdd编程中键值对rdd通常用到的方法有reduceByKey()、groupByKey()、sortByKey()、join()、cogroup() 其阅读全文

posted @ 2021-12-29 11:52 sakura_xxg 阅读(31) 评论(0) 推荐(0) 编辑

hadoop上有unhealthyNode解决办法

摘要：给yarn增加阈值阅读全文

posted @ 2021-12-28 16:00 sakura_xxg 阅读(45) 评论(0) 推荐(0) 编辑

大三寒假第九天

摘要：1.完成了scala实验二的最后一题统计学生成绩学生的成绩清单格式如下所示，第一行为表头，各字段意思分别为学号、性别、课程名1、课程名 2 等，后面每一行代表一个学生的信息，各字段之间用空白符隔开代码摘自网上， package com.tiedao.project import scala.i 阅读全文

posted @ 2021-12-28 13:40 sakura_xxg 阅读(39) 评论(0) 推荐(0) 编辑

大三假期第八天

摘要：计算级数请用脚本的方式编程计算并输出下列级数的前 n 项之和 Sn，直到 Sn 刚好大于或等于 q 为止，其中q 为大于 0 的整数，其值通过键盘输入。 S = 2 + 3 + 4 + n1 2 3 例如，若 q 的值为 50.0 ，则输出应为： Sn=50.416695 。请将源文件保存为阅读全文

posted @ 2021-12-27 14:24 sakura_xxg 阅读(38) 评论(0) 推荐(0) 编辑

大三寒假第七天

摘要：今天做了一点事情，那就是把前几天的都补了回来。 1.在centos7上把scala安装完成 2.在本地也安装了一份，通过查阅资料能通过idea使用scala 阅读全文

posted @ 2021-12-26 12:39 sakura_xxg 阅读(19) 评论(0) 推荐(0) 编辑

大三寒假第六天

摘要：三无阅读全文

posted @ 2021-12-25 21:11 sakura_xxg 编辑

大三寒假第五天

摘要：一事无成阅读全文

posted @ 2021-12-24 19:10 sakura_xxg 阅读(17) 评论(0) 推荐(0) 编辑

大三寒假第四天

摘要：今天什么也没有干阅读全文