jsqup

2022年9月2日

摘要： window 画图理解说明 countByWindow 对每个滑动窗口的数据执行count操作 reduceByWindow 对每个滑动窗口的数据执行reduce操作 reduceByKeyAndWindow 对每个滑动窗口的数据执行reduceByKey操作 countByValueAndWin 阅读全文

posted @ 2022-09-02 12:42 jsqup 阅读(108) 评论(0) 推荐(0) 编辑

SparkStreaming中的转换算子2--有状态的转换算子updateStateByKey

摘要：将之前批次的状态保存， package SparkStreaming.trans import org.apache.spark.SparkConf import org.apache.spark.storage.StorageLevel import org.apache.spark.stream 阅读全文

posted @ 2022-09-02 12:13 jsqup 阅读(20) 评论(0) 推荐(0) 编辑

SparkStreaming中的转换算子1

摘要：转换算子1 map,flatMap RDD支持的转换算子DStream大部分都是支持的 map、flatMap、filter、distinct、union、join、reduceByKey...... RDD中部分行动算子DStream会当作转换算子使用，算子的执行逻辑是一样的 package Sp 阅读全文

posted @ 2022-09-02 11:57 jsqup 阅读(19) 评论(0) 推荐(0) 编辑

2022年8月31日

数据源:flume采集到的端口

摘要：推送式将flume采集的数据主动推送给Spark程序，容易导致Spark程序接受数据出问题，推送式整合是基于avro端口下沉地方式完成引入SparkStreaming和Flume整合的依赖 <dependency> <groupId>org.apache.spark</groupId> <art 阅读全文

posted @ 2022-08-31 19:45 jsqup 阅读(90) 评论(0) 推荐(0) 编辑

sparkstreaming的创建方式及运行流程及注意事项

摘要： sparkstreaming创建有两种方式 1. 借助SparkConf对象创建 val conf = new SparkConf().setAppName("streamingContext").setMaster("local[4]") /** * streamingcontext第一种创建方式阅读全文

posted @ 2022-08-31 16:47 jsqup 阅读(135) 评论(0) 推荐(0) 编辑

处理不同的数据源(端口，HDFS)

摘要：端口 // 地址，端口号，级别(将数据存储在所设置的级别中，这里设置级别为spark的内存) val ds: DStream[String] = ssc.socketTextStream("node1", 44444, StorageLevel.MEMORY_ONLY) 读取HDFS中的数据 imp 阅读全文

posted @ 2022-08-31 16:29 jsqup 阅读(17) 评论(0) 推荐(0) 编辑

sparkstreaming数据源端口号的开启及项目创建需要导入的依赖

摘要：安装nc yum install -y nc 说明 -l, --listen Bind and listen for incoming connections -k, --keep-open Accept multiple connections in listen mode 使用 nc -lk 端阅读全文

posted @ 2022-08-31 15:17 jsqup 阅读(14) 评论(0) 推荐(0) 编辑

2022年8月30日

Dataset与DataFrame创建的比较方式

摘要： ||DataFrame|Dataset| | | | | |创建方式|**1.根据集合或者RDD的隐式函数toDF(列名)创建(需要引入SparkSession的隐式转换函数)2.SparkSession的createDataFrame函数3.外部结构化文件4.外部关系型数据库5.**Hive数据仓阅读全文

posted @ 2022-08-30 19:00 jsqup 阅读(19) 评论(0) 推荐(0) 编辑

dataset中的算子

摘要：与dataframe同阅读全文

posted @ 2022-08-30 15:29 jsqup 阅读(6) 评论(0) 推荐(0) 编辑

通过dataframe相关算子操作创建dataset

摘要：说明使用Dataframe相关算子进行转换的来都需要引入sparksession的隐式转换内容 map算子将原有的Dataset的每一行数据进行转换得到一个新的数据类型就是新的Dataset的类型 flatMap算子将原有的Dataset的每一行数据进行压扁操作得到一个集合数据类型集阅读全文

posted @ 2022-08-30 15:27 jsqup 阅读(51) 评论(0) 推荐(0) 编辑

公告