2021年1月12日
（四）Spark之Local运行环境搭建
摘要： 环境准备： OS环境：CentOS 7（本示例运行环境） JVM运行环境：JKD1.8 安装参考文章：https://blog.csdn.net/qq_32786873/article/details/78749384?utm_medium=distribute.pc_relevant.none-t 阅读全文
posted @ 2021-01-12 21:43 Leo-Wong 阅读(211) 评论(0) 推荐(0) 编辑
（三）Spark核心概念
摘要： Spark属性列表 Driver program(驱动程序) 每个 Spark 应用程序都包含一个驱动程序, 驱动程序负责把并行操作发布到集群上. 驱动程序包含 Spark 应用程序中的主函数, 定义了分布式数据集以应用在集群中. 在前面的wordcount案例集中, spark-shell 就是我 阅读全文
posted @ 2021-01-12 21:08 Leo-Wong 阅读(161) 评论(0) 推荐(0) 编辑
（二）Spark的核心模块介绍
摘要： Spark其核心内置模块，如图所示： 资源调度器(Cluster Manager) Spark 设计为可以高效地在一个计算节点到数千个计算节点之间伸缩计算。 为了实现这样的要求，同时获得最大灵活性，Spark 支持在各种集群管理器(Cluster Manager)上运行，目前 Spark 支持 3 阅读全文
posted @ 2021-01-12 19:14 Leo-Wong 阅读(1189) 评论(0) 推荐(0) 编辑
生产场景数据湖平台建设实践
摘要： 【本文系转载，非本人原创，仅供参考学习】 原文链接： https://www.sohu.com/a/231709205_223866 数据湖平台简介 数据湖平台是一套混合架构，以传统Oracle与华为FusionInsight HD&LibrA为主，依托统一融合的数据平台，全流程拉通公司产品的研发制 阅读全文
posted @ 2021-01-12 10:32 Leo-Wong 阅读(643) 评论(0) 推荐(0) 编辑