2020寒假生活学习日记(七)
使用Eclipse编写Spark应用程序(Scala+Maven)
安装maven插件和scala插件
先进入eclipse后,点击Help–>Install New Software,在出现的install界面上输入maven插件的网址http://download.eclipse.org/releases/luna/ 在这里luna是eclipse的版本号,改成自己的就行,然后在搜索框输入maven点击 select all,一直next,然后勾选I accept,然后finish。
scala的网址:http://download.scala-ide.org/sdk/helium/e38/scala211/stable/site 这个是统一的。
在/usr/local/spark下建立目录/mycode/wordcount,然后在“/usr/local/spark/mycode/wordcount”目录下新建一个包含了一些语句的文本文件word.txt,命令如下:
打开eclipse后,在工程栏右键New–>Project,在出现的界面上双击maven文件,选择maven project,先点击右下角的Add Archetype,第一个Archetype Group id 选择net.alchim31.maven,第二个Archetype Artifact id选择scala-archetype-simple,第三个选择version是1.6,点击OK,在Catalog里选择All Catalogs,在filter里输入scala,会出现net.alchim31.maven,version为1.6版本的选项,选择它,点击next,然后在Groupid上填写dblab,在Artifact填写WordCount,package填写dblab.WordCount,点击Finish。这样就可以在maven上创建Scala类了。
但是一直在add archtype之后,出现:
Can't resolve Archetype net.alchim31.maven:scala-archetype-simple:1.6
org.eclipse.core.runtime.CoreException: Could not resolve artifact