随笔分类 - spark_hive_hadoop
摘要：转自：https://blog.csdn.net/qq_32938169/article/details/80209083 1.去官网下载hadoop。 1>选择镜像网站，选清华的镜像的网站。 2>找个自己喜欢版本的hadoop，下载好将压缩包解压。 2.找对应版本的winutil。因为hadoop
阅读全文
摘要：写随笔大概也是做笔记记录下自己思考的意思吧，之前有些事情觉得做随笔还是比较有用的，mark一下一个有用的网址 关于rdd的操作，网上有很多很多的教程，当初全部顺一遍，除了对rdd这个类型有了点概念，剩下具体的方法以及方法的写法已经快忘记了，所以具体还是记一下对某些事情的思考吧。 关于将rdd保存为文
阅读全文
摘要：我是在运行rdd.saveAsTextFile(fileName)的时候报的错，找了很多说法……最终是跑到hadoop/bin文件夹下删除了hadoop.dll后成功。之前某些说法甚至和这个解决方法自相矛盾，可能是我没有注意到具体报错信息是不是完全一致的缘故，但是做一下记录。 1、删除hadoop.
阅读全文
摘要：eclipse在对spark的支持上并不友好，所以需要新下载并安装IntelliJ IDEA 2019.1。我下载安装的是专业版的，直接在网上搜索了破解码进行破解。 1、 配置java和scala IDE的配置是我陌生的，所以可能会有一些错误的多余的操作。 安装scala插件：选择Plugins-搜
阅读全文
摘要：在这里配置的是在命令行下运行spark的环境用来学习，最后结果如下，可运行简单的代码。 0、jdk、scala和spark的版本问题 有关版本如官网所示，我想要强调的是spark至今并不支持jdk11，只支持到jdk8（jdk1.8）.如果版本不对，你跑普通的代码都会报类、函数不存在的错误，我所下载
阅读全文
