合集-实时开发

Kafka快速入门
摘要：Kafka快速入门Kafka快速入门 1、MQ简介 生产者向队列发送消息，消费者从队列消费消息，先进先出属于队列类型。常用的消息中间件有RabbitMQ、RocketMQ、kafka等，使用消息中间件目的是:程序解耦，异步（请求同步要求前面的执行完成后才能执行）、数据削峰（短时间大量的请求访问同一个URL，服务器短时 阅读全文
posted @ 2023-12-24 15:46 戴莫先生Study平台 阅读(155) 评论(0) 推荐(0) 编辑
ClickHouse数据库
摘要：ClickHouse数据库ClickHouse数据库 一、软件简介 clickHouse是俄罗斯搜索巨头Yandex公司早2016年开源的一个极具"战斗力"的实时数据分析数据库，开发语言是C++,是一用于联机分析(OLAP)的列式数据库管理系统，简称CK，工作速度比传统方法快100-1000倍，Clickhouse的性能超过 阅读全文
posted @ 2024-01-11 20:21 戴莫先生Study平台 阅读(761) 评论(0) 推荐(0) 编辑
Flink实时处理入门
摘要：Flink实时处理入门Flink实时处理入门 1、Flink框架介绍 Flink 诞生于欧洲的一个大数据研究项目 StratoSphere。它是由 3 所地处柏林的大学和欧洲其他一 些大学在 2010~2014 年共同进行的研究项目，由柏林理工大学的教授沃克尔·马尔科（Volker Markl）领衔开发。2019年1月阿 阅读全文
posted @ 2024-01-11 20:23 戴莫先生Study平台 阅读(445) 评论(0) 推荐(0) 编辑
FlinkSQL实战开发
摘要：FlinkSQL实战开发FlinkSQL实战开发 1、基础知识 FlinkSQL分为Table API和SQL API，是架构于Flink Core之上用SQL予以方便快捷地进行结构化数据处理的上层库。 工作流程 SQL和Table在进入Flink以后转化成统一的数据结构表达形式，也就是逻辑计划(logic plan)，其 阅读全文
posted @ 2024-01-14 22:48 戴莫先生Study平台 阅读(1011) 评论(0) 推荐(0) 编辑
实时数仓项目笔记
摘要：实时数仓项目笔记实时项目笔记处理 一、行为日志数据采集 1、ngx_kafka_module安装 先提前安装好nginx和kafka组件,目的配置nginx，nginx获取到分布式系统的消息轮询进行分发到kafka中进行消费！ 安装编译c客户端的kafka源码 #git 拉取librdkafka git clone 阅读全文
posted @ 2024-03-07 14:56 戴莫先生Study平台 阅读(123) 评论(0) 推荐(0) 编辑

点击右上角即可分享
微信分享提示