文章分类 - 大数据相关 / Flink
摘要：来源于 https://blog.csdn.net/weixin_34342207/article/details/93165555 https://github.com/zhisheng17/flink-learning 博客 1、Flink 从0到1学习 —— Apache Flink 介绍 2
阅读全文
摘要：来源于 https://www.cnblogs.com/liugh/p/7533194.html 1.启动不起来 查看JobManager日志： WARN org.apache.flink.runtime.webmonitor.JobManagerRetriever - Failed to retr
阅读全文
摘要：来源于 https://developer.aliyun.com/ask/129166 背景 flink 版本号 1.6.2 flink 集群模式 flink on yarn 使用flink 读取kafka 数据 简单处理之后使用自定义richWindowFunction 处理数据的时候出现异常报错
阅读全文
摘要：来源于 https://blog.csdn.net/wangchao_cn/article/details/104707274/ 使用DataStream来消费Kafka。 下面Schema类很重要，实现对消息的序列化和反序列化 KafkaSerializationSchema<Quotes>, K
阅读全文
摘要：来源于 https://blog.csdn.net/qq_31866793/article/details/100690542 在使用aggregate()函数的时候，一直报错，先贴代码吧 一直不知道是什么原因，只是说方法不匹配，想想可能是keyBy函数的返回key值类型不对，改成String类型，
阅读全文
摘要：来源于 ：https://blog.csdn.net/zg_hover/article/details/87592060 概述flink中支持多种窗口，包括：时间窗口，session窗口，count窗口等，本文简单介绍这些窗口的原理，并通过例子说明如何使用这些窗口。 时间窗口(Time Window
阅读全文
摘要：来源于 https://segmentfault.com/a/1190000019441726 前言 最近因公司业务需求，需要使用到大数据分析。选择了flink，第一次听说flink我也是很懵逼的状态，不过一段时间下来有了一点心得，在这里和大家分享分享。有很多描述不准确的，大家多提提意见。 1.fl
阅读全文
摘要：来源于 https://blog.csdn.net/vincent_duan/article/details/100880838 keyBy 如何指定key不管是stream还是batch处理，都有一个keyBy(stream)和groupBy(batch)操作。那么该如何指定key？ Some t
阅读全文
摘要：来源于 https://www.jianshu.com/p/0cdf1112d995 上文学习了简单的map、flatmap、filter，在这里开始继续看keyBy及reduce keyBy 先看定义，通过keyBy，DataStream→KeyedStream。 逻辑上将流分区为不相交的分区。具
阅读全文
摘要：来源于 https://www.jianshu.com/p/7bbf14996d39 看完了Flink的datasource、sink，也就把一头一尾给看完了，从数据流入到数据流出，缺少了中间的处理环节。 而flink的大头恰恰是只在这个中间环节，如下图： source-transform-sink
阅读全文
摘要：来源于 https://yq.aliyun.com/articles/674450 本文由《Streaming System》一书第二章的提炼翻译而来，译者才疏学浅，如有错误，欢迎指正。转载请注明出处，侵权必究。 本章主要介绍鲁棒的处理乱序数据的核心概念，这些概念的运用使流处理系统超越批处理系统的关
阅读全文
摘要：来源于 https://yq.aliyun.com/articles/682877 摘要： Flink入坑指南系列文章，从实际例子入手，一步步引导用户零基础入门实时计算/Flink，并成长为使用Flink的高阶用户。本文属个人原创，仅做技术交流之用，笔者才疏学浅，如有错误，欢迎指正。转载请注明出处，
阅读全文
摘要：来源于 https://segmentfault.com/a/1190000016659736 大数据时代，数据计算已经渗透到了各行各业。业务沉淀数据，数据计算产生新的业务价值，数据计算正不断地用这种方式推动业务向前发展。 大数据的计算模式主要分为批量计算(batch computing)、流式计算
阅读全文
摘要：来源于 https://baijiahao.baidu.com/s?id=1625545704285534730 在流式计算领域，同一套系统需要同时兼具容错和高性能其实非常难，同时它也是衡量和选择一个系统的标准。在这个领域，Flink和Spark无疑是彼此非常强劲的对手。 1. Flink VS S
阅读全文
摘要：来源于 Flink中文社区 摘要：本文由 Netflix 高级软件工程师徐振中分享，内容包含有趣的案例、分布式系统基础方面的各种挑战以及解决方案，此外还讨论了其在开发运维过程中的收获，对开放式自助式实时数据平台的一些新愿景，以及对 Realtime ETL 基础平台的一些新思考。文章内容主要分为以下
阅读全文
摘要：来源于 https://blog.csdn.net/qq_34796981/article/details/80777181 事件描述公司使用的是Spring Cloud工作的微服务框架。其中做了SpringBoot和kafka的结合。但是意外的是enable.auto.commit参数设置成了fa
阅读全文
摘要：来源于 https://www.jianshu.com/p/9eba3dfc4b3d 一、zhisheng 个人 Flink 学习博客、简书、GitHub地址 1.1、zhisheng的博客 http://www.54tianzhisheng.cn/ 1.2、zhisheng_blog - 简书 h
阅读全文
摘要：来源于 https://developer.aliyun.com/article/712704 简介： 本文主要分享 Flink 的 5 种任务提交的方式。熟练掌握各种任务提交方式，有利于提高我们日常的开发和运维效率。 作者：周凯波（宝牛） 1.环境说明 在前面几期的课程里面讲过了 Flink 开发
阅读全文
摘要：来源于： https://www.cnblogs.com/smartloli/p/10963221.html 1.前言 目前实时计算的业务场景越来越多，实时计算引擎技术及生态也越来越成熟。以Flink和Spark为首的实时计算引擎，成为实时计算场景的重点考虑对象。那么，今天就来聊一聊基于Kafka的
阅读全文
摘要：来源于 https://www.jianshu.com/p/7bbf14996d39 看完了Flink的datasource、sink，也就把一头一尾给看完了，从数据流入到数据流出，缺少了中间的处理环节。 而flink的大头恰恰是只在这个中间环节，如下图： source-transform-sink
阅读全文
