Fork me on GitHub

随笔分类 -  大数据技术栈

Hadoop、hive、spark、hive等
摘要:数据湖如何助力企业大数据中台架构的升级 1.大数据平台架构 数据处理的流程: 采集-->清洗-->存储 --> 计算-->分析-->应用 HDFS架构 MapReduce的核心思想 Hive的架构 大数据平台整体架构 2.从数据库到数据仓库的演进过程 离线数据仓库 实时数据仓库 数据仓库特点 集成性 阅读全文
posted @ 2021-09-26 21:38 kris12 阅读(1279) 评论(0) 推荐(0) 编辑
摘要:Atlas概述 Apache Atlas为组织提供开放式元数据管理和治理功能,用以构建其数据资产目录,对这些资产进行分类和管理,并为数据分析师和数据治理团队,提供围绕这些数据资产的协作功能。 Atlas架构原理 Atlas安装及使用 1)Atlas官网地址:https://atlas.apache. 阅读全文
posted @ 2020-02-07 21:19 kris12 阅读(7623) 评论(1) 推荐(1) 编辑
摘要:数仓| 离线& 实时 Flume数据采集的搭建及其架构原理 Kafka Hadoop Hive Spark Flink Mysql& Redis Hbase ELK 调度框架 Linux 常用工具 TRANSLATE with x English Arabic Hebrew Polish Bulga 阅读全文
posted @ 2019-06-01 14:14 kris12 阅读(1182) 评论(0) 推荐(0) 编辑

levels of contents