再多学一点吧

导航

2021年11月8日 #

spark搭建

摘要： 1、上传解压，配置环境变量 配置bin目录 2、修改配置文件 conf cp spark-env.sh.template spark-env.sh 增加配置 export SPARK_MASTER_IP=master export SPARK_MASTER_PORT=7077 export SPAR 阅读全文

posted @ 2021-11-08 22:07 糟糟张 阅读(105) 评论(0) 推荐(0) 编辑

Spark中的Wordcount

摘要： ###通过scala语言基于local编写spark的Wordcount import org.apache.spark.rdd.RDD import org.apache.spark.{SparkConf, SparkContext} object WordCount { def main(arg 阅读全文

posted @ 2021-11-08 20:08 糟糟张 阅读(549) 评论(0) 推荐(0) 编辑