Kafka学习总结
摘要：一、为什么要使用Kafka 如果直接使用flink进行元数据接收、数据处理、元数据及处理后数据存储的整个过程，压力较大，且耦合性较高，故障修复需要将整个过程一起修复，故为了降低flink计算压力，降低元数据与计算过程之间的耦合度，考虑使用kafka组件与flink结合使用。 未经过ETL的数据大多较
阅读全文
posted @ 2023-05-11 15:32
随笔分类 - ETL相关
kettle学习笔记
摘要：一、简介： 由纯Java编写，可在Windows、Linux、Unix环境运行，纯绿色无需安装的一款ETL工具。 补充： 企业数据仓库模型： 一、数据来源： 1、历史数据； 2、正在运行的业务系统数据，例如：OA、CRM 3、日志、三方数据等其他来源的数据。 二、ETL进入数据库： ETL（Extr
阅读全文
posted @ 2021-11-02 23:11
