摘要：
8 阅读全文
摘要：
7 阅读全文
摘要：
1.1、RDD的分区 Spark对RDD提供了两种分区方式，分别是基于哈希（HashPartitioner）和基于范围排序的（RangePartitioner）的分区器，实现类来自https://github.com/apache/spark/blob/v2.4.7/core/src/main/sc 阅读全文
摘要：
1 /* 2 Spark Standalone模式下的Application 3 Application是Spark中类似于Hadoop的Job的用户提交的应用。sc是Spark集群初始化时创建的SparkContext，Spark中包含Action算子和Transferer(... 阅读全文
摘要：
一、环境准备 主机 IP 软件 发行商 进程 node01 192.168.10.101 hadoop-3.1.0 hive-3.1.0 spark-2.4.6 Apache社区 NameNode SecondaryNameNode DataNode ResourceManager NodeMana 阅读全文
摘要：
package com.mengyao.scala.function/*** Scala 映射* Scala中的Key，Value集合被称为映射，映射中的每一个key,value称为对偶* * @author mengyao*/object Test6 { def main(args:Array[... 阅读全文
摘要：
package com.mengyao.scala.function/*** Scala中循环的声明和使用（while和for）* * @author mengyao*/object Test3 { def main(args: Array[String]){ test1 test2 tes... 阅读全文
摘要：
package com.mengyao.scala.function/*** Scala中数组的声明和使用(定长数组和变长数组)* * @author mengyao*/object Test4 { def main(args: Array[String]): Unit = { //声明数组，通过... 阅读全文
摘要：
package com.mengyao.scala.function/*** Scala的逻辑判断** @author mengyao*/object Test2 { def main(args: Array[String]) { val prod = buy(1) println(prod) } ... 阅读全文
摘要：
package com.mengyao.scala.function/*** Scala函数的声明和使用** @author mengyao*/object Test1 { //主程序的main函数定义 def main(args: Array[String]) { val resSum1 = su... 阅读全文