摘要:
Flink 学习 项目地址:https://github.com/zhisheng17/flink learning/ 博客: "http://www.54tianzhisheng.cn/tags/Flink/" 项目结构 博客 1、 "《从0到1学习Flink》—— Apache Flink 介绍 阅读全文
摘要:
本人自己录的视频,讲解 Flink 整和 Nacos,动态更新作业配置,无需重启作业! 我们知道 Flink 作业的配置一般都是通过在作业启动的时候通过参数传递的,或者通过读取配置文件的参数,在作业启动后初始化了之后如果再想更新作业的配置一般有两种解决方法: + 改变启动参数或者改变配置文件,重启作 阅读全文
摘要:
本人自己录的视频,讲解 Flink 整和 Apollo,动态更新作业配置,无需重启作业! 在上一篇讲解 "Flink 与 Nacos 整合的视频" 中,讲过了常见的几种更新配置的方法,最常使用的可能就是通过广播流的方式,相信看完上个视频的,估计对整合 Nacos 做动态更新配置应该问题不大,zhis 阅读全文
摘要:
前言 在上一篇文章 "你公司到底需不需要引入实时计算引擎?" 中我讲解了日常中常见的实时需求,然后分析了这些需求的实现方式,接着对比了实时计算和离线计算。随着这些年大数据的飞速发展,也出现了不少计算的框架(Hadoop、Storm、Spark、Flink)。在网上有人将大数据计算引擎的发展分为四个阶 阅读全文
摘要:
基于 Flink 1.9 讲解的专栏,涉及入门、概念、原理、实战、性能调优、系统案例的讲解。 <! more 专栏介绍 扫码下面专栏二维码可以订阅该专栏 首发地址: "http://www.54tianzhisheng.cn/2019/11/15/flink in action/" 专栏地址: "h 阅读全文
摘要:
toc: true title: 滴滴实时计算发展之路及平台架构实践 date: 2019 08 25 tags: Flink 大数据 滴滴的核心业务是一个实时在线服务,因此具有丰富的实时数据和实时计算场景。本文将介绍滴滴实时计算发展之路以及平台架构实践。 <! more 实时计算演进 随着滴滴业务 阅读全文
摘要:
toc: true title: Flink 从 0 到 1 学习 —— Flink Data transformation(转换) date: 2018 11 04 tags: Flink 大数据 流式计算 前言 在第一篇介绍 Flink 的文章 "《《从0到1学习Flink》—— Apache 阅读全文
摘要:
前言 在 "《从0到1学习Flink》—— Data Source 介绍" 文章中,我给大家介绍了 Flink Data Source 以及简短的介绍了一下自定义 Data Source,这篇文章更详细的介绍下,并写一个 demo 出来让大家理解。 <! more Flink Kafka sourc 阅读全文
摘要:
作者介绍:董亭亭,快手大数据架构实时计算引擎团队负责人。目前负责 Flink 引擎在快手内的研发、应用以及周边子系统建设。2013 年毕业于大连理工大学,曾就职于奇虎 360、58 集团。主要研究领域包括:分布式计算、调度系统、分布式存储等系统。 <! more 本文主要分享Flink connec 阅读全文
摘要:
前言 前篇文章 "《从0到1学习Flink》—— Data Sink 介绍" 介绍了 Flink Data Sink,也介绍了 Flink 自带的 Sink,那么如何自定义自己的 Sink 呢?这篇文章将写一个 demo 教大家将从 Kafka Source 的数据 Sink 到 MySQL 中去。 阅读全文
摘要:
前面文章我们已经知道 Flink 是什么东西了,安装好 Flink 后,我们再来看下安装路径下的配置文件吧。 <! more 安装目录下主要有 flink conf.yaml 配置、日志的配置文件、zk 配置、Flink SQL Client 配置。 flink conf.yaml 基础配置 高可用 阅读全文