随笔分类 - Flink
摘要：1、搭建maven 工程 pom文件 自动生成，版本信息，元数据信息 引入依赖，flink scala 、flink-streaming-scala... 引入插件，编译打包，管理生命周期，scala-maven-plugin 编译用，打包插件 maven-assembly-plugin 和 jar
阅读全文
摘要：Flink: 大数据流式处理框架：Flink 和 spark streaming Flink 延迟更小，实时性更好 低延迟、高吞吐，准确性高 API: source transform sink 一、Flink简介： Flink(德语：快速、灵巧) Flink 是一个框架，分布式处理引擎，对有界和无
阅读全文
摘要：https://github.com/zhanglangJD/flinkJavaDemo 在跑flink demo 时出错，最后发现时缺少了插件。 安装插件，重启，重新打开项目，报错消失； 首先解释一下为什么要安装Lombok插件–为什么呢？ 因为在idea导入项目的时候，你会看见，卧槽，都是错误，
阅读全文
摘要：1、Preferences --System Settings -- 勾选 open project in new window 然后OK 之后在file open 找到对应的项目，打开即可 注意等依赖自动下载完之后，代码也就跟着出现了
阅读全文
摘要：http://www.louisvv.com/archives/2110.html https://www.jianshu.com/p/68916106c73b Macbook pro maven 环境及Flink 环境搭建 MAC上安装maven以及配置Intellij IDEA https://
阅读全文
摘要：TP=Top Percentile，Top百分数，是一个统计学里的术语，与平均数、中位数都是一类。TP50、TP90和TP99等指标常用于系统性能监控场景，指高于50%、90%、99%等百分线的情况。首先给出Google到的答案：The tp90 is a minimum time under wh
阅读全文
摘要：如何解决消息队列的延时以及过期失效问题？消息队列满了以后该怎么处理？ 思考 解决思路 由于有的消息队列有过期失效的机制，造成了大量的消息丢失。这种情况只能将丢失的那批数据，写个临时程序，一点一点的查出来，然后重新灌入mq里面去。 大量消息在mq里积压了几个小时了还没解决 几千万条数据在MQ里积压了七
阅读全文
摘要：ReadFromJDQ3 1）消费JDQ的必要信息，通过参数传入，有6个参数 2）获取flink JDQ3的鉴权客户端 3）根据鉴权客户端获取消费属性的配置 4）构建应用环境ENV和checkpoint机制 5）构建JDQ3（基于kafka）对应的消费客户端，flink用来消费实时订单消息 6) 根
阅读全文
摘要：前面 FLink 的文章中我们已经介绍了说 Flink 已经有很多自带的 Connector。 1、《从0到1学习Flink》—— Data Source 介绍 2、《从0到1学习Flink》—— Data Sink 介绍 其中包括了 Source 和 Sink 的，后面我也讲了下如何自定义自己的
阅读全文
摘要：Data Sources 是什么呢？就字面意思其实就可以知道：数据来源。 Flink 做为一款流式计算框架，它可用来做批处理，即处理静态的数据集、历史的数据集； 也可以用来做流处理，即实时的处理些实时数据流，实时的产生数据流结果，只要数据源源不断的过来，Flink 就能够一直计算下去，这个 Data
阅读全文
摘要：首先 Sink 的中文释义为： 所以，对应 Data sink 意思有点把数据存储下来（落库）的意思； Source 数据源 > Compute 计算 > sink 落库 如上图，Source 就是数据的来源，中间的 Compute 其实就是 Flink 干的事情，可以做一系列的操作，操作完后就把计
阅读全文
摘要：参考原博客： https://blog.csdn.net/weixin_44516305/article/details/90258883 1 需求分析 使用Flink对实时数据流进行实时处理，并将处理后的结果保存到Elasticsearch中，在Elasticsearch中使用IK Analyze
阅读全文
摘要：Flink简介 Flink的核心是一个流式的数据流执行引擎，其针对数据流的分布式计算提供了数据分布，数据通信以及容错机制等功能。基于流执行引擎，Flink提供了诸多更高抽象层的API以方便用户编写分布式任务： 1. DataSet API, 对静态数据进行批处理操作，将静态数据抽象成分布式的数据集，
阅读全文
