关闭页面特效
随笔分类 - 实时数据仓库
sparkstreaming+flinkstreaming实时数仓
项目实战从 0 到 1 学习之Flink （13）Flink 读取 Kafka 数据写入到 RabbitMQ FlinkKafkaRabbitMQ大数据流式计算
摘要：前言 之前有文章 《从0到1学习Flink》—— Flink 写入数据到 Kafka 写过 Flink 将处理后的数据后发到 Kafka 消息队列中去，当然我们常用的消息队列可不止这一种，还有 RocketMQ、RabbitMQ 等，刚好 Flink 也支持将数据写入到 RabbitMQ，所以今天我
阅读全文
项目实战 从 0 到 1 学习之Flink （12）Flink 读取 Kafka 数据批量写入到 MySQL
摘要：前言 之前其实在 《从0到1学习Flink》—— 如何自定义 Data Sink ？ 文章中其实已经写了点将数据写入到 MySQL，但是一些配置化的东西当时是写死的，不能够通用，最近知识星球里有朋友叫我: 写个从 kafka 中读取数据，经过 Flink 做个预聚合，然后创建数据库连接池将数据批量写
阅读全文
项目实战 从 0 到 1 学习之Flink（11）Flink 写入数据到 Kafka
摘要：前言 之前文章 《从0到1学习Flink》—— Flink 写入数据到 ElasticSearch 写了如何将 Kafka 中的数据存储到 ElasticSearch 中，里面其实就已经用到了 Flink 自带的 Kafka source connector（FlinkKafkaConsumer）。
阅读全文
项目实战从 0 到 1 学习之Flink（10）Flink 写入数据到 ElasticSearch
摘要：前言 前面 FLink 的文章中我们已经介绍了说 Flink 已经有很多自带的 Connector。 其中包括了 Source 和 Sink 的，后面我也讲了下如何自定义自己的 Source 和 Sink。 那么今天要做的事情是啥呢？就是介绍一下 Flink 自带的 ElasticSearch Co
阅读全文
项目实战 从 0 到 1 学习之Flink（9）flink实时数仓从入门到实战
摘要：第一章、flink实时数仓入门 一、依赖 <!-- Licensed to the Apache Software Foundation (ASF) under one or more contributor license agreements. See the NOTICE file distr
阅读全文
项目实战 从 0 到 1 学习之 Flink（8）大数据之Hudi + Kylin的准实时数仓实现
摘要：问题导读：1、数据库、数据仓库如何理解？2、数据湖有什么用途？解决什么问题？3、数据仓库的加载链路如何实现？4、Hudi新一代数据湖项目有什么优势？在近期的 Apache Kylin × Apache Hudi Meetup 直播上，Apache Kylin PMC Chair 史少锋和 Kylig
阅读全文
