随笔分类 -  spark

上一页 1 2
spark学习笔记
Accumulator和Broadcast
摘要：Accumulate package com.shujia.spark.core import java.lang import org.apache.spark.{SparkConf, SparkContext} import org.apache.spark.rdd.RDD import org 阅读全文
posted @ 2021-07-19 23:06 坤坤无敌 阅读(40) 评论(0) 推荐(0) 编辑
PageRank
摘要：package com.shujia.spark.core import org.apache.spark.rdd.RDD import org.apache.spark.{SparkConf, SparkContext} object Demo19PageRank { def main(args: 阅读全文
posted @ 2021-07-18 11:33 坤坤无敌 阅读(319) 评论(0) 推荐(0) 编辑
PI
摘要：package com.shujia.spark.core import org.apache.spark.rdd.RDD import org.apache.spark.{SparkConf, SparkContext} import scala.util.Random object Demo18 阅读全文
posted @ 2021-07-18 11:20 坤坤无敌 阅读(390) 评论(0) 推荐(0) 编辑
Student计算
摘要：package com.shujia.spark.core import org.apache.spark.rdd.RDD import org.apache.spark.{SparkConf, SparkContext} object Demo17Student { def main(args: 阅读全文
posted @ 2021-07-18 11:17 坤坤无敌 阅读(77) 评论(0) 推荐(0) 编辑
CheckPoint
摘要：package com.shujia.spark.core import org.apache.spark.{SparkConf, SparkContext} import org.apache.spark.rdd.RDD object Demo16CheckPoint { def main(arg 阅读全文
posted @ 2021-07-18 11:16 坤坤无敌 阅读(228) 评论(0) 推荐(0) 编辑
Cache
摘要：package com.shujia.spark.core import org.apache.spark.rdd.RDD import org.apache.spark.storage.StorageLevel import org.apache.spark.{SparkConf, SparkCo 阅读全文
posted @ 2021-07-18 11:15 坤坤无敌 阅读(61) 评论(0) 推荐(0) 编辑
Partition
摘要：package com.shujia.spark.core import org.apache.spark.rdd.RDD import org.apache.spark.{Partitioner, SparkConf, SparkContext} object Demo13Patition { d 阅读全文
posted @ 2021-07-18 11:12 坤坤无敌 阅读(334) 评论(0) 推荐(0) 编辑
Action算子
摘要：package com.shujia.spark.core import org.apache.hadoop.conf.Configuration import org.apache.hadoop.fs.{FileSystem, Path} import org.apache.spark.rdd.R 阅读全文
posted @ 2021-07-16 22:17 坤坤无敌 阅读(65) 评论(0) 推荐(0) 编辑
SortBy
摘要：package com.shujia.spark.core import org.apache.spark.rdd.RDD import org.apache.spark.{SparkConf, SparkContext} object Demo10Sort { def main(args: Arr 阅读全文
posted @ 2021-07-16 22:16 坤坤无敌 阅读(324) 评论(0) 推荐(0) 编辑
spark关联表
摘要：Union package com.shujia.spark.core import org.apache.spark.rdd.RDD import org.apache.spark.{SparkConf, SparkContext} object Demo8Union { def main(arg 阅读全文
posted @ 2021-07-16 22:15 坤坤无敌 阅读(148) 评论(0) 推荐(0) 编辑
GroupByKey，ReduceByKey
摘要：package com.shujia.spark.core import org.apache.spark.rdd.RDD import org.apache.spark.{SparkConf, SparkContext} object Demo6GroupByKey { def main(args 阅读全文
posted @ 2021-07-16 22:13 坤坤无敌 阅读(54) 评论(0) 推荐(0) 编辑
Sample：抽样算子
摘要：package com.shujia.spark.core import org.apache.spark.rdd.RDD import org.apache.spark.{SparkConf, SparkContext} object Demo5Sample { def main(args: Ar 阅读全文
posted @ 2021-07-16 22:12 坤坤无敌 阅读(82) 评论(0) 推荐(0) 编辑
spark Map,Filter,FlatMap
摘要：map package com.shujia.spark.core import org.apache.spark.rdd.RDD import org.apache.spark.{SparkConf, SparkContext} object Demo2Map { def main(args: A 阅读全文
posted @ 2021-07-16 22:09 坤坤无敌 阅读(95) 评论(0) 推荐(0) 编辑
spark WordCount
摘要：spark实现Wordcount package com.shujia.spark.core import org.apache.spark.rdd.RDD import org.apache.spark.{SparkConf, SparkContext} object Demo1WordCount 阅读全文
posted @ 2021-07-16 22:03 坤坤无敌 阅读(51) 评论(0) 推荐(0) 编辑
spark 初识
摘要：（摘自xiaohu_bigdata） Spark最初由美国加州伯克利大学的AMP实验室于2009年开发，是基于内存计算的大数据并行计算框架，可用于构建大型的、低延迟的数据分析应用程序。 Spark特点Spark具有如下几个主要特点： 运行速度快：Spark使用先进的DAG（Directed Acyc 阅读全文
posted @ 2021-07-16 22:01 坤坤无敌 阅读(235) 评论(0) 推荐(0) 编辑

上一页 1 2
点击右上角即可分享
微信分享提示