随笔分类 -  数仓项目

数仓：环境准备
摘要：开发环境 创建项目 创建 Maven 项目 gmall−realtime 删除当前项目的 src 目录并创建 sub−gmall−realtime 模块 在主 pom 文件中导入依赖 <properties> <java.version>1.8</java.version> <m 阅读全文
posted @ 2023-02-18 12:30 FireOnFire 阅读(124) 评论(0) 推荐(0) 编辑
数仓：建模理论
摘要：数仓建模理论 范数理论 函数依赖 完全函数依赖 设 X,Y 是关系 R 的两个属性集合，X′ 是 X 的真子集，存在 X→Y，但是对每一个 X′ 都有 X′!→Y，则称 Y 完全函数依赖于 X。 例如：学号和课程可以推断 阅读全文
posted @ 2023-02-15 19:37 FireOnFire 阅读(106) 评论(0) 推荐(0) 编辑
数仓：分层
摘要：数据来源层 ODS（Operation Data Store）：数据基本上从源表中拉过来，经过抽取、洗净、传输（ETL）后装入本层，大体上按源业务的分类方式而分类的。 数据仓库层 DW（Data Warehouse）：从 ODS 层中获得的数据按照主题建立各种数据模型。 明细层 DWD（Data W 阅读全文
posted @ 2023-02-11 21:30 FireOnFire 阅读(61) 评论(0) 推荐(0) 编辑
数仓：业务数据采集
摘要：MySQL 安装 安装包准备 上传安装包和 JDBC 驱动。 (base) quanjunyi@Tys-MacBook-Pro ~ % docker cp 01_mysql-community-common-5.7.16-1.el7.x86_64.rpm cluster-master:/opt/ ( 阅读全文
posted @ 2023-01-18 20:55 FireOnFire 阅读(116) 评论(0) 推荐(1) 编辑
数仓：基于Docker搭建大数据集群
摘要：集群规划 | | cluster-master | cluster-slave1 | cluster-slave2 | cluster-slave3 | | | | | | | | IP | 172.20.0.2 | 172.20.0.3 | 172.20.0.4 | 172.20.0.5 | | 阅读全文
posted @ 2023-01-13 20:25 FireOnFire 阅读(364) 评论(0) 推荐(0) 编辑

点击右上角即可分享
微信分享提示