戴莫先生Study平台

摘要：

Kafka快速入门 1、MQ简介生产者向队列发送消息，消费者从队列消费消息，先进先出属于队列类型。常用的消息中间件有RabbitMQ、RocketMQ、kafka等，使用消息中间件目的是:程序解耦，异步（请求同步要求前面的执行完成后才能执行）、数据削峰（短时间大量的请求访问同一个URL，服务器短时阅读全文

posted @ 2023-12-24 15:46 戴莫先生Study平台阅读(155) 评论(0) 推荐(0) 编辑

[置顶] Hadoop快速入门

摘要：

Hadoop快速入门一、大数据思维分而治之所谓“分而治之”，就是把一个复杂的算法问题按一定的“分解”方法分为等价的规模较小的若干部分，然后逐个分别找出各部分的解，再把各部分的解组成整个问题的解。传统的计算都是基于内存去完成的，但是内存是有限的，数据量太大，导致无法在较短时间内迅速解决，也就是阅读全文

posted @ 2023-12-16 15:03 戴莫先生Study平台阅读(148) 评论(0) 推荐(0) 编辑

[置顶] JAVASE学习笔记

摘要：

# JavaSE基础知识 ## 1、Java应用与特性 ```tex jdk8 常用 jdk11 常用 jdk17 推荐使用 java之父高斯林 1、常用的java程序分为JavaSE、JavaEE、Java ME三个版本 2、J2SE:定位在服务端的开发（WEB网页） 3、JavaME：定位在消费阅读全文

posted @ 2023-08-09 09:22 戴莫先生Study平台阅读(111) 评论(0) 推荐(0) 编辑

2024年3月7日

实时数仓项目笔记

摘要：

实时项目笔记处理一、行为日志数据采集 1、ngx_kafka_module安装先提前安装好nginx和kafka组件,目的配置nginx，nginx获取到分布式系统的消息轮询进行分发到kafka中进行消费！安装编译c客户端的kafka源码 #git 拉取librdkafka git clone 阅读全文

posted @ 2024-03-07 14:56 戴莫先生Study平台阅读(123) 评论(0) 推荐(0) 编辑

2024年1月14日

FlinkSQL实战开发

摘要：

FlinkSQL实战开发 1、基础知识 FlinkSQL分为Table API和SQL API，是架构于Flink Core之上用SQL予以方便快捷地进行结构化数据处理的上层库。工作流程 SQL和Table在进入Flink以后转化成统一的数据结构表达形式，也就是逻辑计划(logic plan)，其阅读全文

posted @ 2024-01-14 22:48 戴莫先生Study平台阅读(1004) 评论(0) 推荐(0) 编辑

2024年1月11日

Flink实时处理入门

摘要：

Flink实时处理入门 1、Flink框架介绍 Flink 诞生于欧洲的一个大数据研究项目 StratoSphere。它是由 3 所地处柏林的大学和欧洲其他一些大学在 2010~2014 年共同进行的研究项目，由柏林理工大学的教授沃克尔·马尔科（Volker Markl）领衔开发。2019年1月阿阅读全文

posted @ 2024-01-11 20:23 戴莫先生Study平台阅读(438) 评论(0) 推荐(0) 编辑

ClickHouse数据库

摘要：

ClickHouse数据库一、软件简介 clickHouse是俄罗斯搜索巨头Yandex公司早2016年开源的一个极具"战斗力"的实时数据分析数据库，开发语言是C++,是一用于联机分析(OLAP)的列式数据库管理系统，简称CK，工作速度比传统方法快100-1000倍，Clickhouse的性能超过阅读全文

posted @ 2024-01-11 20:21 戴莫先生Study平台阅读(760) 评论(0) 推荐(0) 编辑

2023年12月16日

kylin&CDH理论基础

摘要：

Kylin&CDH理论基础一、维度与度量维度是观察数据的角度。比如电商的销售数据，可以从时间维度来观察，进一步细化时间和地区维度来观察。度量是被聚合的统计值，也是聚合运算的结果。知道维度和度量，可以对数据模型上的所有字段进行分类，要么维度，要么度量，由此就出现了根据维度、度量做预计算的Cube 阅读全文

posted @ 2023-12-16 15:11 戴莫先生Study平台阅读(44) 评论(0) 推荐(0) 编辑

Altas&Ranger快速入门

摘要：

Altas&Ranger快速入门一、元数据企业内部远行多种类型的数据库，有关系型数据库、非关系型数据库、图数据库、时序数据库等，常见有mysql、redis、Mongodb、oracle、prometheus等，数据库是用来管理和存储数据的，例如：oracle数据库：schema是一组数据库对象阅读全文

posted @ 2023-12-16 15:09 戴莫先生Study平台阅读(117) 评论(0) 推荐(0) 编辑

2023年12月12日

hiveSQL常见专题

摘要：

SQL强化 SQL执行顺序 --举例： select a.sex, b.city, count(1) as cnt, sum(salary) as sum1 from table1 a join table2 b on a.id=b.id where a.name=b.name group by a 阅读全文

posted @ 2023-12-12 20:36 戴莫先生Study平台阅读(267) 评论(0) 推荐(0) 编辑

数仓项目总结

摘要：

数仓项目总结一、数据采集数据从哪里来的？一般在实际开发中，是业务开发端在业务系统程序中，植入一些收集事件数据的SDK(工具代码),进行各种事件数据的收集，埋点数据可以植入到业务系统的前端程序或者后端程序中。我们作为大数据开发，只需要提出数据埋点需求，对具体实现技术仅作基本了解即可。收集与分析的阅读全文

posted @ 2023-12-12 20:35 戴莫先生Study平台阅读(170) 评论(0) 推荐(1) 编辑

Mr Demo Learn

戴莫先生Learn平台

公告