随笔分类 - Spark
摘要:笔记:在配置好了spark后,如果需要添加/删除一个结点需要修改如下配置文件cd $HADOOP/etc/hadoop 进入hadoop配置文件夹下修改 slaves,将对应的节点添加/删除修改hdfs-site.xml , 修改hdfs副本的数量。cd $SPARK_HOME/conf 进入spa...
阅读全文
摘要:IDE:eclipseSpark:spark-1.1.0-bin-hadoop2.4scala:2.10.4创建scala工程,编写wordcount程序如下package com.luogankun.spark.baseimport org.apache.spark.SparkConfimport...
阅读全文