摘要:
今天按照惯例,做的是实验五的后一部分,出了不小的问题。最后还是看了大佬的博客,勉勉强强弄了出来。 阅读全文
摘要:
今天做的是实验五,Spark SQL 编程初级实践的前一部分。参考网络上的教程,没有太大问题。 阅读全文
摘要:
今天的成果就是完成了实验四,整体来说掌握的还算可以。没有什么太大的纰漏。 阅读全文
摘要:
今天开始做实验四,看上去一头雾水。查阅相关博客资料才明白了RDD是什么东西。 Spark 对数据的核心抽象—弹性分布式数据集就是RDD,换句话说就是分布式的元素集合。在spark里,对数据的所有操作就是创建 RDD、转化已有 RDD 以及调用 RDD 操作进行求值。创建RDD有两种方法:读取一个外部 阅读全文
摘要:
今天看了下实验三的内容,因为之前做过很多所以主要还是以温习为主,难度不大。 阅读全文
摘要:
今天做的是实验二的后一部分。在期间出现了好几个问题,仿照网上已有的例子才勉强做了出来。 阅读全文
摘要:
今天进行的是spark的基础实验2的前一部分,进展还算顺利。 阅读全文
摘要:
今天参考林子雨的教程安装并调试了spark。一开始因为粗心打错了代码,后面检查发现问题,及时更正之后就没再出现什么情况。 阅读全文
摘要:
今天成功将eclipse安装并且配置成功,在安装hadoop,hbase的过程中也一切顺利,但是安装MongoDB的过程中出现了未知的问题。好在之前备份过系统只能一次次的按照教程安装。github上下载东西真的慢,70m下载了一个多小时。 最后在机缘巧合的情况下MongoDB安装成功,环境搭建完成。 阅读全文