[置顶] Kafka快速入门
摘要： Kafka快速入门 Kafka快速入门 1、MQ简介 生产者向队列发送消息，消费者从队列消费消息，先进先出属于队列类型。常用的消息中间件有RabbitMQ、RocketMQ、kafka等，使用消息中间件目的是:程序解耦，异步（请求同步要求前面的执行完成后才能执行）、数据削峰（短时间大量的请求访问同一个URL，服务器短时 阅读全文
posted @ 2023-12-24 15:46 戴莫先生Study平台 阅读(119) 评论(0) 推荐(0) 编辑
[置顶] Hadoop快速入门
摘要： Hadoop快速入门 Hadoop快速入门 一、大数据思维 分而治之 所谓“分而治之”，就是把一个复杂的算法问题按一定的“分解”方法分为等价的规模较小的若干部分，然后逐个分别找出各部分的解，再把各部分的解组成整个问题的解。 传统的计算都是基于内存去完成的，但是内存是有限的，数据量太大，导致无法在较短时间内迅速解决，也就是 阅读全文
posted @ 2023-12-16 15:03 戴莫先生Study平台 阅读(98) 评论(0) 推荐(0) 编辑
[置顶] JAVASE学习笔记
摘要： JAVASE学习笔记 # JavaSE基础知识 ## 1、Java应用与特性 ```tex jdk8 常用 jdk11 常用 jdk17 推荐使用 java之父高斯林 1、常用的java程序分为JavaSE、JavaEE、Java ME三个版本 2、J2SE:定位在服务端的开发（WEB网页） 3、JavaME：定位在消费 阅读全文
posted @ 2023-08-09 09:22 戴莫先生Study平台 阅读(90) 评论(0) 推荐(0) 编辑
2024年3月7日
实时数仓项目笔记
摘要： 实时数仓项目笔记 实时项目笔记处理 一、行为日志数据采集 1、ngx_kafka_module安装 先提前安装好nginx和kafka组件,目的配置nginx，nginx获取到分布式系统的消息轮询进行分发到kafka中进行消费！ 安装编译c客户端的kafka源码 #git 拉取librdkafka git clone 阅读全文
posted @ 2024-03-07 14:56 戴莫先生Study平台 阅读(96) 评论(0) 推荐(0) 编辑
2024年1月14日
FlinkSQL实战开发
摘要： FlinkSQL实战开发 FlinkSQL实战开发 1、基础知识 FlinkSQL分为Table API和SQL API，是架构于Flink Core之上用SQL予以方便快捷地进行结构化数据处理的上层库。 工作流程 SQL和Table在进入Flink以后转化成统一的数据结构表达形式，也就是逻辑计划(logic plan)，其 阅读全文
posted @ 2024-01-14 22:48 戴莫先生Study平台 阅读(723) 评论(0) 推荐(0) 编辑
2024年1月11日
Flink实时处理入门
摘要： Flink实时处理入门 Flink实时处理入门 1、Flink框架介绍 Flink 诞生于欧洲的一个大数据研究项目 StratoSphere。它是由 3 所地处柏林的大学和欧洲其他一 些大学在 2010~2014 年共同进行的研究项目，由柏林理工大学的教授沃克尔·马尔科（Volker Markl）领衔开发。2019年1月阿 阅读全文
posted @ 2024-01-11 20:23 戴莫先生Study平台 阅读(286) 评论(0) 推荐(0) 编辑
ClickHouse数据库
摘要： ClickHouse数据库 ClickHouse数据库 一、软件简介 clickHouse是俄罗斯搜索巨头Yandex公司早2016年开源的一个极具"战斗力"的实时数据分析数据库，开发语言是C++,是一用于联机分析(OLAP)的列式数据库管理系统，简称CK，工作速度比传统方法快100-1000倍，Clickhouse的性能超过 阅读全文
posted @ 2024-01-11 20:21 戴莫先生Study平台 阅读(628) 评论(0) 推荐(0) 编辑
2023年12月16日
kylin&CDH理论基础
摘要： kylin&CDH理论基础 Kylin&CDH理论基础 一、维度与度量 维度是观察数据的角度。比如电商的销售数据，可以从时间维度来观察，进一步细化时间和地区维度来观察。 度量是被聚合的统计值，也是聚合运算的结果。知道维度和度量，可以对数据模型上的所有字段进行分类，要么维度，要么度量，由此就出现了根据维度、度量做预计算的Cube 阅读全文
posted @ 2023-12-16 15:11 戴莫先生Study平台 阅读(29) 评论(0) 推荐(0) 编辑
Altas&Ranger快速入门
摘要： Altas&Ranger快速入门 Altas&Ranger快速入门 一、元数据 企业内部远行多种类型的数据库，有关系型数据库、非关系型数据库、图数据库、时序数据库等，常见有mysql、redis、Mongodb、oracle、prometheus等，数据库是用来管理和存储数据的，例如：oracle数据库：schema是一组数据库对象 阅读全文
posted @ 2023-12-16 15:09 戴莫先生Study平台 阅读(88) 评论(0) 推荐(0) 编辑
2023年12月12日
hiveSQL常见专题
摘要： hiveSQL常见专题 SQL强化 SQL执行顺序 --举例： select a.sex, b.city, count(1) as cnt, sum(salary) as sum1 from table1 a join table2 b on a.id=b.id where a.name=b.name group by a 阅读全文
posted @ 2023-12-12 20:36 戴莫先生Study平台 阅读(198) 评论(0) 推荐(0) 编辑
数仓项目总结
摘要： 数仓项目总结 数仓项目总结 一、数据采集 数据从哪里来的？一般在实际开发中，是业务开发端在业务系统程序中，植入一些收集事件数据的SDK(工具代码),进行各种事件数据的收集，埋点数据可以植入到业务系统的前端程序或者后端程序中。我们作为大数据开发，只需要提出数据埋点需求，对具体实现技术仅作基本了解即可。 收集与分析的 阅读全文
posted @ 2023-12-12 20:35 戴莫先生Study平台 阅读(113) 评论(0) 推荐(1) 编辑