摘要：
1、启动Spark服务 因为spark是依赖于hadoop提供的分布式文件系统的，所以在启动spark之前，先确保hadoop在正常运行。 在hadoop正常运行的情况下，在master（也就是hadoop的namenode，spark的marster节点）上执行命令： cd /usr/local/ 阅读全文
摘要：
1、开发环境准备 scala IDE for Eclipse：版本（4.6.1） 官网下载：http://scala-ide.org/download/sdk.html 百度云盘下载：链接：http://pan.baidu.com/s/1c2NAZdA 密码：au8t scala-2.11.8.ms 阅读全文
摘要：
版本号： RedHat6.5 RHEL 6.5系统安装配置图解教程(rhel-server-6.5) JDK1.8 http://blog.csdn.net/chongxin1/article/details/68957808 Hadoop2.7.3 RedHat6.5上安装Hadoop单机 sca 阅读全文
摘要：
版本号： RedHat6.5 RHEL 6.5系统安装配置图解教程(rhel-server-6.5) JDK1.8 http://blog.csdn.net/chongxin1/article/details/68957808 Hadoop2.7.3 RedHat6.5上安装Hadoop集群 sca 阅读全文
摘要：
转载自：http://blog.csdn.net/wzq294328238/article/details/48054525 通常我们将Spark任务编写后打包成jar包，使用spark-submit进行提交，因为spark是分布式任务，如果运行机器上没有对应的依赖jar文件就会报ClassNotF 阅读全文
摘要：
打包 ：右击、export、Java 、jar File 把TestSpark.jar包上传到spark集群服务器的 spark_home下的myApp下： 提交spark任务： cd /usr/local/spark/spark-2.1.1-bin-hadoop2.7 bin/spark-subm 阅读全文
摘要：
Maven是一个优秀的构建工具（类似于 Ant， 但比 Ant 更加方便使用），能帮助我们自动化构建过程，从清理、编译、测试到生成报告，再到打包和部署。只需要输入简单的命令，Maven就可以帮我们处理构建过程中的繁琐任务。 一、Maven3.5.0的下载安装配置 1、下载apache-maven-3 阅读全文
摘要：
在Maven的依赖管理中，经常会用到依赖的scope设置。这里整理下各种scope的使用场景和说明，以及在使用中的实践心得。 scope的使用场景和说明 1.compile 编译范围，默认scope，在工程环境的classpath（编译环境）和打包（如果是WAR包，会包含在WAR包中）时候都有效。 阅读全文
摘要：
一、Maven3.5.0安装与配置+Eclipse应用 参考：Maven3.5.0安装与配置+Eclipse应用 二、http://mvnrepository.com/ 此处以http://mvnrepository.com/artifact/org.apache.spark/spark-core_ 阅读全文
摘要：
一、scope要修改为runtime 特别注意<scope>provided</scope>，只在编译的classpath中加载和使用，打包的时候不会包含在目标包中。 所以如果想把该依赖包也一起打包，那么应该改成<scope>runtime</scope>。 具体可以参考：MAVEN Scope使用 阅读全文