随笔分类 - spark实例

存放spark的所有实例

摘要：方式一 public class SecondSortTest { public static void main(String[] args) { SparkConf conf = new SparkConf().setMaster("local").setAppName("secondSort" 阅读全文

posted @ 2022-06-20 16:26 jsqup 阅读(19) 评论(0) 推荐(0) 编辑

求uv

摘要：uv定义在同一天内，UV指记录第一次进入网站的具有独立IP的访问者，在同一天内再次访问该网站则不计数. 代码实现:方法一 SparkConf conf = new SparkConf(); conf.setMaster("local").setAppName("uv"); JavaSparkCon 阅读全文

posted @ 2022-06-18 17:11 jsqup 阅读(14) 评论(0) 推荐(0) 编辑

求pv

摘要：pv定义衡量网站用户访问的网页的数量，PV与来访者的数量成正比，但是PV并不直接决定页面的正式来访者数量，如同一个来访者通过不断的刷新页面，也可以制造出非常高的PV。实现代码 public class TestPV { public static void main(String[] args) 阅读全文

posted @ 2022-06-18 16:28 jsqup 阅读(14) 评论(0) 推荐(0) 编辑

2. SparkPi实例

摘要：原理代码 package operator import org.apache.spark.rdd.RDD import org.apache.spark.{SparkConf, SparkContext} import java.lang.Math.random object SparkPI e 阅读全文

posted @ 2022-04-10 12:33 jsqup 阅读(78) 评论(0) 推荐(0) 编辑

spark实例1---WordCount

摘要：import org.apache.spark.rdd.RDD import org.apache.spark.{SparkConf, SparkContext} object WordCount extends App { private val conf = new SparkConf() co 阅读全文

posted @ 2022-04-09 21:15 jsqup 阅读(25) 评论(0) 推荐(0) 编辑