spark(3) - scala独立编程

>>非集成：

 

环境需要

　　* spark 2.4.0

　　* scala 2.11.12

　　* sbt （打包）

开发过程

　　1、shell命令下创建项目目录结构 

　　　　　　*****/ project / src / main / scala 

　　　　　　　　　　　　　　　　    -> . / ClassName.scala （ touch + gedit 命令）　　　　　 

　　　　　　*****/ project 

　　　　　　　　　　　-> . / ******.sbt (Scala & spark 配置信息)

　　2、编写代码

　　3、sbt打包jar - sbt package

　　4、运行 spark-submit  --class " ** "  ..../../../../ ***.jar

 

 目录结构：

　　　　/src  - 手动编写

　　　　simple.sbt - 手动编写

　　　　/project  - sbt 打包生成

　　　　/target  - sbt 打包生成

>>集成环境

　　* Eclipse +maven/sbt

　　* Scala IDE for  eclipse

　　* Intellij IDEA + maven/sbt

 

　　使用过程：

　　　　创建项目

　　　　编写代码

　　　　运行调试

 

【问题】：这几个工具配合使用maven/sbt 老由问题

   待处理 ：1、网速慢   2、配置不熟悉