再多学一点吧

摘要：1、Flink模型 2、持续流模型 Flink的算子不是懒执行的，Spark算子在遇到Action算子才会执行 3、WordCount实例 package core import org.apache.flink.streaming.api.scala._ object Demo1WordCount 阅读全文

摘要：详：https://gitee.com/zhang-yilei-bigdata/telecom-tourism-fair 1、开启hadoop的权限验证 关闭hadoop stop-all.sh 修改hdfs-site.xml文件 <property> <name>dfs.permissions</ 阅读全文

摘要：###代码优化 1.避免使用重复的RDD 2.对经常使用的RDD进行缓存持久化 3.使用高性能的算子 reduceByKey（map端预聚合）替代groupByKey mapPartitions替代map Transformation foreachPartitions替代foreach Actio 阅读全文

摘要：spark-sql 写代码方式 1、idea里面将代码编写好打包上传到集群中运行，上线使用 spark-submit提交 2、spark shell (repl) 里面使用sqlContext 测试使用，简单任务使用 spark-shell --master yarn-client 不能使用yar 阅读全文

摘要：###1 import org.apache.spark.sql.{DataFrame, SaveMode, SparkSession} object Demo1Sess { def main(args: Array[String]): Unit = { val spark: SparkSessio 阅读全文

摘要：###RDD五大特性 ###groupByKey和reduceBykey ###BlockManager ###资源调度和任务调度 阅读全文

摘要：###求PI，运用概率模型 import org.apache.spark.rdd.RDD import org.apache.spark.{SparkConf, SparkContext} import scala.util.Random object PIDemo { def main(args 阅读全文

摘要：###练习 package scala_01.practice import org.junit.{Before, Test} import scala.collection.immutable import scala.collection.immutable.StringOps import s 阅读全文

摘要：###算子分类 转换算子是将一个RDD变成另一个RDD之间的转换，懒执行，需要操作算子触发执行 操作算子不能将一个RDD变成另一个RDD，每一操作算子都会触发一个job 可以通过算子的返回值去判断 该算子是转换/操作算子 ###转换（Transformations）算子 ####Map import 阅读全文

摘要：1、上传解压，配置环境变量 配置bin目录 2、修改配置文件 conf cp spark-env.sh.template spark-env.sh 增加配置 export SPARK_MASTER_IP=master export SPARK_MASTER_PORT=7077 export SPAR 阅读全文

摘要：###通过scala语言基于local编写spark的Wordcount import org.apache.spark.rdd.RDD import org.apache.spark.{SparkConf, SparkContext} object WordCount { def main(arg 阅读全文

摘要：###main方法和def 函数 package scala_01 /** * main方法只能放在object中运行 * object 修饰的类 就相当于静态类 也相当于代码加载到虚拟机中的 “类对象” * 类中的方法及属性 相当于自动加上了 static * 可以直接通过 “类对象”（类名）直接 阅读全文