spark 熟悉过程

spark shell 交互

 

启动：bin 目录下   ./spark-shell  --master local [ ×× ]    --jars ×××.jar

　　   进入[ >> scala ]交互[ spark 由scala开发 ]

退出：quit /  ctrl+D

 

 

编程环境 [ 使用spark API]

 

1、scala编程

　　  自己搭建：

　　　　* 编程环境搭建

　　　　　　+ubuntu   &   java JDK   &    Scala （Scala解释器）

 　　　　* scala打包&构建工具sbt [ 打包成jar ]

 　　集成环境：

　　　　* Scala IDE for eclipse

　　　　* eclipse

　　　　* idea

 

2、java 编程

 　　　　* 暂无

3、python 编程

　　　　 * 暂无

4、R语言 编程

　　　　 * 暂无