12 2023 档案

Kafka快速入门
摘要：Kafka快速入门Kafka快速入门 1、MQ简介 生产者向队列发送消息，消费者从队列消费消息，先进先出属于队列类型。常用的消息中间件有RabbitMQ、RocketMQ、kafka等，使用消息中间件目的是:程序解耦，异步（请求同步要求前面的执行完成后才能执行）、数据削峰（短时间大量的请求访问同一个URL，服务器短时 阅读全文
posted @ 2023-12-24 15:46 戴莫先生Study平台 阅读(155) 评论(0) 推荐(0) 编辑
kylin&CDH理论基础
摘要：kylin&CDH理论基础Kylin&CDH理论基础 一、维度与度量 维度是观察数据的角度。比如电商的销售数据，可以从时间维度来观察，进一步细化时间和地区维度来观察。 度量是被聚合的统计值，也是聚合运算的结果。知道维度和度量，可以对数据模型上的所有字段进行分类，要么维度，要么度量，由此就出现了根据维度、度量做预计算的Cube 阅读全文
posted @ 2023-12-16 15:11 戴莫先生Study平台 阅读(44) 评论(0) 推荐(0) 编辑
Altas&Ranger快速入门
摘要：Altas&Ranger快速入门Altas&Ranger快速入门 一、元数据 企业内部远行多种类型的数据库，有关系型数据库、非关系型数据库、图数据库、时序数据库等，常见有mysql、redis、Mongodb、oracle、prometheus等，数据库是用来管理和存储数据的，例如：oracle数据库：schema是一组数据库对象 阅读全文
posted @ 2023-12-16 15:09 戴莫先生Study平台 阅读(117) 评论(0) 推荐(0) 编辑
Hadoop快速入门
摘要：Hadoop快速入门Hadoop快速入门 一、大数据思维 分而治之 所谓“分而治之”，就是把一个复杂的算法问题按一定的“分解”方法分为等价的规模较小的若干部分，然后逐个分别找出各部分的解，再把各部分的解组成整个问题的解。 传统的计算都是基于内存去完成的，但是内存是有限的，数据量太大，导致无法在较短时间内迅速解决，也就是 阅读全文
posted @ 2023-12-16 15:03 戴莫先生Study平台 阅读(148) 评论(0) 推荐(0) 编辑
hiveSQL常见专题
摘要：hiveSQL常见专题SQL强化 SQL执行顺序 --举例： select a.sex, b.city, count(1) as cnt, sum(salary) as sum1 from table1 a join table2 b on a.id=b.id where a.name=b.name group by a 阅读全文
posted @ 2023-12-12 20:36 戴莫先生Study平台 阅读(267) 评论(0) 推荐(0) 编辑
数仓项目总结
摘要：数仓项目总结数仓项目总结 一、数据采集 数据从哪里来的？一般在实际开发中，是业务开发端在业务系统程序中，植入一些收集事件数据的SDK(工具代码),进行各种事件数据的收集，埋点数据可以植入到业务系统的前端程序或者后端程序中。我们作为大数据开发，只需要提出数据埋点需求，对具体实现技术仅作基本了解即可。 收集与分析的 阅读全文
posted @ 2023-12-12 20:35 戴莫先生Study平台 阅读(170) 评论(0) 推荐(1) 编辑
Prometheus 快速入门
摘要：Prometheus 快速入门Prometheus&Grafana快速入门 一、prometheus简介 prometheus是监控多个大数据组件的监控系统。Prometheus是由SoundCloud开发的开源监控报警系统和时序列数据库(TSDB)。Prometheus使用Go语言开发，是Google BorgMon监控系统的 阅读全文
posted @ 2023-12-12 20:32 戴莫先生Study平台 阅读(256) 评论(0) 推荐(0) 编辑