随笔分类 - spark
摘要:一、环境准备 今天我们看下Spark 版本的 wordcount,IDEA 新建 Maven 项目引入依赖:使用 spark 3.0.0,对应scala 版本2.12 <dependency> <groupId>org.apache.spark</groupId> <artifactId>spark
阅读全文
摘要:一、Spark 是什么 Spark官网地址:https://spark.apache.org Spark是一种基于内存的快速、通用、可扩展的大数据分析计算引擎。用来构建大型的、低延迟的数据分析应用程序。它扩展了广泛使用的 MapReduce 计算模型。高效的支撑更多计算模式,包括交互式查询和流处理。
阅读全文