随笔分类 -  061. 大数据 - 大数据管理

数仓分层
摘要：简介 大数据下的数据仓库对数据进行了分层管理，分为ODS、DWD，DWS，ADS层，可以把数仓分层和程序设计中的三层架构进行对比： 相同点： 第N-1层为第N层提供服务，每一层都有单独的职责。 降低复杂度， 减少重复开发，提高复用性 不同点 程序中的分层是为了关注点分离， 而数据的分层更像是一个萃取 阅读全文
posted @ 2021-05-13 23:42 秋夜 阅读(703) 评论(0) 推荐(0) 编辑
维护大数据系统时遇到的几个问题及解决方案
摘要：2018年进入一家互联网公司的大数据部门，在进入部门后，遇到了一些问题，这里记录一下。 简介 先简单介绍一下的背景：公司是一家中小型的互联网电商公司，在2015年基于CDH搭建了大数据系统，大约30台机器(32C+256G)，总存储量大约2PB，在进入部门后，需要对集群情况有个梳理，遇到了不少问题： 阅读全文
posted @ 2021-05-12 19:45 秋夜 阅读(624) 评论(0) 推荐(0) 编辑

点击右上角即可分享
微信分享提示