摘要:
第1章 考试详情和资源 在这个介绍性的章节中,我想解决计划准备并成功通过认证Kubernetes应用程序开发人员(CKAD)考试的考生经常问的最棘手的问题。我们将不讨论实际的Kubernetes概念或如何应用它们,而是在高层次上讨论认证和必要的技能。 考试目标 越来越多的应用程序开发人员发现自己的项 阅读全文
摘要:
这是一个漫长的旅程,你已经走到这本书的结尾了! 但是你的Flink之旅才刚刚开始,本章将为你指出可能的路径。我们将向您简要介绍这本书中没有包含的其他Flink功能,并提供一些更多Flink资源。在Flink周围有一个充满活力的社区,我们鼓励您与其他用户联系,开始做出贡献,或者了解哪些公司正在使用Fl 阅读全文
摘要:
流处理应用程序是长时间运行的,它们的工作负载通常是不可预测的。连续运行数月的流作业并不少见,因此其操作需求与短期批处理作业的操作需求非常不同。考虑这样一个场景:您在部署的应用程序中检测到一个bug。如果您的应用程序是批处理作业,那么您可以轻松地在脱机状态下修复错误,然后在当前作业实例完成后重新部署新 阅读全文
摘要:
数据可以存储在许多不同的系统中,比如文件系统、对象存储、关系数据库系统、键值存储、搜索索引、事件日志、消息队列等等。每一类系统都是为特定的访问模式设计的,并且擅长于服务于特定的目的。因此,今天的数据基础设施通常由许多不同的存储系统组成。在向架构中添加新组件之前,应该问一个合乎逻辑的问题:“它与架构中 阅读全文
摘要:
有状态操作符和用户函数是流处理应用程序的常见构件。实际上,大多数重要的操作都需要记住数据记录或部分结果,因为数据是流动的,并且随着时间的推移到达。Flink的许多内置DataStream操作符、sources和sinks都是有状态的,可以缓冲记录或维护部分结果或元数据。例如,窗口操作符使用Proce 阅读全文
摘要:
在本章中,我们将介绍用于时间处理和基于时间的操作符(如windows)的DataStream API方法。正如您在“时间语义”中学到的,Flink基于时间的操作符可以应用于不同的时间概念。 首先,我们将学习如何定义时间特征、时间戳和水印。然后,我们将介绍流程功能、提供对时间戳和水印的访问并可以注册定 阅读全文
摘要:
本章介绍了Flink的DataStream API的基础知识。我们展示了一个典型的Flink流应用程序的结构和组件,讨论了Flink的类型系统和支持的数据类型,并给出了数据和分区转换。下一章将讨论窗口操作符、基于时间的转换、有状态操作符和连接器。阅读本章之后,您将了解如何实现具有基本功能的流处理应用 阅读全文
摘要:
前一章讨论了分布式流处理的重要概念,比如并行化、时间和状态。在本章中,我们将介绍Flink的体系结构,并描述Flink如何处理我们之前讨论过的流处理方面的问题。特别地,我们解释了Flink的流程架构及其网络堆栈的设计。我们将展示Flink如何处理流应用程序中的时间和状态,并讨论其容错机制。本章提供了 阅读全文
摘要:
到目前为止,您已经了解了流处理如何解决传统批处理的限制,以及它如何支持新的应用程序和体系结构。您已经熟悉了开源流处理技术的演变,并对Flink流处理程序有了一个简单的了解。在这一章中,你将进入流处理世界,学习流处理基础知识,为本书的其余部分的学习打下基础。 这一章仍然与Flink无关。它的目标是介绍 阅读全文
摘要:
Apache Flink是一个分布式流处理引擎,提供了直观而富有表现力的api,以此来实现有状态的流处理应用程序。它以一种容错的方式有效地在大规模集群上运行这样的应用程序。2014年4月,Flink加入了Apache软件基金会作为孵化项目,2015年1月,成为顶级项目。从一开始,Flink就拥有一个 阅读全文