关闭页面特效
随笔分类 - 大数据之flink
批处理+流处理
Doris--数据表基本概念和字段类型
摘要：1.doris表基本概念 在 Doris 中，数据都以关系表（Table）的形式进行逻辑上的描述。 1.1.1Row & Column 一张表包括行（Row）和列（Column） Row 即用户的一行数据 Column 用于描述一行数据中不同的字段 在默认的数据模型中，Column 只分为排序列和非
阅读全文
项目实战 从 0 到 1 学习之Flink （29）UDF实现
摘要：1、pom.xml <?xml version="1.0" encoding="UTF-8"?> <project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instan
阅读全文
项目实战 从 0 到 1 学习之Flink （28）FlinkSql教程（二）
摘要：从kafka到mysql 新建Java项目 最简单的方式是按照官网的方法，命令行执行curl https://flink.apache.org/q/quickstart.sh | bash -s 1.10.0，不过这种方法有些包还得自行添加，大家可以复制我的pom.xml，我已经将常用的包都放进去了
阅读全文
项目实战 从 0 到 1 学习之Flink （27）FlinkSql教程（一）
摘要：环境准备 安装Docker及相关镜像 Docker下载链接 由于穷买不起mac，所以挂的windows的链接，可自行去Docker官网下载其他版本。 安装过程省略，毕竟一路下一步的东西，下面开始安装并启动kafka、mysql等服务。 安装zookeeper服务 因为kafka需要将许多信息固化存储
阅读全文
项目实战 从 0 到 1 学习之Flink （26）Flink采集kafka数据后存到mongodb
摘要：实体类： import java.io.Serializable; public class FlinkDao implements Serializable { private String id; private String startMoney; private String startTi
阅读全文
项目实战 从 0 到 1 学习之Flink（25）Flink从redis中获取数据作为source源
摘要：redis中的数据：需要实现SourceFunction接口，指定泛型<>,也就是获取redis里的数据，处理完后的数据输入的数据类型 这里我们需要的是（我们需要返回kv对的，就要考虑HashMap）pom.xml <!-- https://mvnrepository.com/artifact/re
阅读全文
项目实战从 0 到 1 学习之Flink （24）Flink将kafka的数据存到redis中
摘要：1、依赖 <properties> <project.build.sourceEncoding>UTF-8</project.build.sourceEncoding> <flink.version>1.7.2</flink.version> <slf4j.version>1.7.7</slf4j.
阅读全文
项目实战 从 0 到 1 学习之Flink （23）Flink 读取hive并写入hive
摘要：1，读取实现了，也是找的资料，核心就是实现了 HCatInputFormatHCatInputFormatBase 上面这两个类，底层也是 继承实现了 RichInputFormat： public abstract class HCatInputFormatBase<T> extends Rich
阅读全文
项目实战 从 0 到 1 学习之Flink（22）读mysql并写入mysql
摘要：在Flink文档中，提供connector读取源数据和把处理结果存储到外部系统中。但是没有提供数据库的connector，如果要读写数据库，官网给出了异步IO(Asynchronous I/O)专门用于访问外部数据，详细可看： https://ci.apache.org/projects/flink
阅读全文
项目实战 从 0 到 1 学习之Flink （21）Flink读HBase并写入HBase
摘要：这里读HBase提供两种方式，一种是继承RichSourceFunction，重写父类方法，一种是实现OutputFormat接口，具体代码如下： 方式一：继承RichSourceFunction package com.my.flink.utils.streaming.hbase; import
阅读全文
项目实战 从 0 到 1 学习之Flink （20）Flink读取hdfs文件
摘要：接一下以一个示例配置来介绍一下如何以Flink连接HDFS 1. 依赖HDFS pom.xml 添加依赖 <dependency> <groupId>org.apache.flink</groupId> <artifactId>flink-hadoop-compatibility_2.11</art
阅读全文
项目实战 从 0 到 1 学习之Flink（19） Flink 读取Kafka生成的数据，并进行汇总
摘要：今天介绍用 Flink 读取Kafka生成的数据，并进行汇总的案例 第一步：环境准备，kafka，flink，zookeeper。我这边是用的CDH环境，kafka跟zookeeper 都安装完毕，并测试可以正常使用 第二步：用kafka创建一个生产者进行消息生产 ./kafka-console-p
阅读全文
项目实战从 0 到 1 学习之Flink （18）Flink SQL读取kafka数据并通过JDBC方式写入Clickhouse实时场景的简单实例
摘要：说明 读取kafka数据并且经过ETL后，通过JDBC存入clickhouse中 代码 定义POJO类： 12345678 public class Student { private int id; private String name; private String password; pri
阅读全文
项目实战 从 0 到 1 学习之Flink（17）Flink实时日志数据写入Clickhouse
摘要：一、背景 每天上百亿的日志数据实时查询是个挑战，在架构设计上采用了Kafka + Flink + Clickhouse+Redash，实现海量数据的实时分析。计算层，我们开发了基于Flink计算引擎的实时数据平台，简化开发流程，数据通过配置化实现动态Schema生成，底层数据解析统一，无需重复造轮子
阅读全文
项目实战从 0 到 1 学习之Flink （16）Flink DataStream之Kafka数据写入HDFS，并分区到Hive
摘要：因业务要求，我们需要从Kafka中读取数据，变换后最终Sink到业务的消息队列中，为保证数据的可靠性，我们同时对Sink的结果数据，进行保存。最终选择将流数据Sink到HDFS上，在Flink中，同时也提供了HDFS Connector。下面就介绍如何将流式数据写入HDFS，同时将数据load到Hi
阅读全文
项目实战 从 0 到 1 学习之Flink（15）Flink读取kafka数据并写入HDFS
摘要：1.概述 最近有同学留言咨询，Flink消费Kafka的一些问题，今天笔者将用一个小案例来为大家介绍如何将Kafka中的数据，通过Flink任务来消费并存储到HDFS上。 2.内容 这里举个消费Kafka的数据的场景。比如，电商平台、游戏平台产生的用户数据，入库到Kafka中的Topic进行存储，然
阅读全文
项目实战从 0 到 1 学习之Flink（14）Flink 读取kafka数据，写入到Hbase
摘要：概述 环境说明 scala: 2.12.8 linux下scala安装部署 flink : 1.8.1 Flink1.8.1 集群部署 kafka_2.12-2.2.0 kafka_2.12-2.2.0 集群部署 hbase 2.1 hbase 2.1 环境搭建–完全分布式模式 Advanced -
阅读全文
项目实战从 0 到 1 学习之Flink （13）Flink 读取 Kafka 数据写入到 RabbitMQ FlinkKafkaRabbitMQ大数据流式计算
摘要：前言 之前有文章 《从0到1学习Flink》—— Flink 写入数据到 Kafka 写过 Flink 将处理后的数据后发到 Kafka 消息队列中去，当然我们常用的消息队列可不止这一种，还有 RocketMQ、RabbitMQ 等，刚好 Flink 也支持将数据写入到 RabbitMQ，所以今天我
阅读全文
项目实战 从 0 到 1 学习之Flink （12）Flink 读取 Kafka 数据批量写入到 MySQL
摘要：前言 之前其实在 《从0到1学习Flink》—— 如何自定义 Data Sink ？ 文章中其实已经写了点将数据写入到 MySQL，但是一些配置化的东西当时是写死的，不能够通用，最近知识星球里有朋友叫我: 写个从 kafka 中读取数据，经过 Flink 做个预聚合，然后创建数据库连接池将数据批量写
阅读全文
