会员
周边
众包
新闻
博问
闪存
赞助商
所有博客
当前博客
我的博客
我的园子
账号设置
简洁模式
...
退出登录
注册
登录
7749ha
博客园
首页
新随笔
新文章
联系
订阅
管理
2020年12月14日
flink 使用processFunction函数的sideOutPut实现filter操作(java版)
摘要: import org.apache.flink.api.common.functions.MapFunction; import org.apache.flink.api.java.tuple.Tuple2; import org.apache.flink.streaming.api.datastr
阅读全文
posted @ 2020-12-14 19:57 7749ha
阅读(478)
评论(0)
推荐(0)
编辑
2020年12月11日
flink 状态编程之RichFlatMapFunction用法-java
摘要: 需求: 连续两个相同key的数量相差超过10就报警. import org.apache.flink.api.common.functions.MapFunction; import org.apache.flink.api.common.functions.RichFlatMapFunction;
阅读全文
posted @ 2020-12-11 16:46 7749ha
阅读(4190)
评论(0)
推荐(0)
编辑
2020年5月22日
java flink之eventTime和window
摘要: import org.apache.flink.api.common.functions.MapFunction; import org.apache.flink.api.common.functions.ReduceFunction; import org.apache.flink.api.jav
阅读全文
posted @ 2020-05-22 09:36 7749ha
阅读(408)
评论(0)
推荐(0)
编辑
2020年5月18日
java spark sql 计算各个省份广告点击数的top3
摘要: 同这个需求一样,用spark sql的方式实现(相对来说简单一点) https://www.cnblogs.com/7749ha/p/12909115.html package sparksql; import org.apache.spark.SparkContext; import org.ap
阅读全文
posted @ 2020-05-18 14:33 7749ha
阅读(341)
评论(0)
推荐(0)
编辑
java spark 计算各个省份广告点击数的top3
摘要: 数据格式: 时间戳 省份 城市 用户 广告 1589677806 河南 洛阳 user1 ad11589677807 河南 郑州 user1 ad11589677808 河南 洛阳 user2 ad11589677809 河南 洛阳 user3 ad21589677811 河南 郑州 user1 a
阅读全文
posted @ 2020-05-18 10:29 7749ha
阅读(554)
评论(0)
推荐(0)
编辑
2020年5月15日
java streaming转换算子window,countByWindow
摘要: spark streaming 代码 package streaming; import org.apache.spark.SparkConf; import org.apache.spark.api.java.function.Function2; import org.apache.spark.
阅读全文
posted @ 2020-05-15 10:41 7749ha
阅读(302)
评论(0)
推荐(0)
编辑
2020年5月14日
java spark转换算子sortByKey
摘要: /** * # _*_ coding:utf-8 _*_ * # Author:xiaoshubiao * # Time : 2020/5/14 8:33 **/ import org.apache.spark.SparkConf; import org.apache.spark.api.java.
阅读全文
posted @ 2020-05-14 14:13 7749ha
阅读(330)
评论(0)
推荐(0)
编辑
java spark转换算子join、leftOuterJoin、rightOuterJoin、fullOuterjoin
摘要: /** * # _*_ coding:utf-8 _*_ * # Author:xiaoshubiao * # Time : 2020/5/14 8:33 **/ import org.apache.spark.SparkConf; import org.apache.spark.api.java.
阅读全文
posted @ 2020-05-14 14:06 7749ha
阅读(651)
评论(0)
推荐(0)
编辑
java spark转换算子groupByKey、reduceByKey、aggregateByKey
摘要: /** * # _*_ coding:utf-8 _*_ * # Author:xiaoshubiao * # Time : 2020/5/14 8:33 **/ import org.apache.spark.SparkConf; import org.apache.spark.api.java.
阅读全文
posted @ 2020-05-14 13:51 7749ha
阅读(489)
评论(0)
推荐(0)
编辑
java spark转换算子union、intersection、subtract
摘要: /** * # _*_ coding:utf-8 _*_ * # Author:xiaoshubiao * # Time : 2020/5/14 8:33 **/ import org.apache.spark.SparkConf; import org.apache.spark.api.java.
阅读全文
posted @ 2020-05-14 08:57 7749ha
阅读(237)
评论(0)
推荐(0)
编辑
下一页