2019年2月23日
Spark -- WordCount程序
摘要： Spark -- WordCount程序 阅读全文
posted @ 2019-02-23 21:46 局外人~~ 阅读(194) 评论(0) 推荐(0) 编辑
Spark-RDD 模型 以及运行原理
摘要： Spark-RDD 模型 以及运行原理 数据：在内存中计算，数组、list、set spark：RDD是弹性分布性数据集合，并且是基于分区的只读记录。 RDD：操作类型（转换-Transformaction 和 行动-Action） 转换：Transformaction：根据原有的RDD创建一个新的 阅读全文
posted @ 2019-02-23 07:29 局外人~~ 阅读(562) 评论(0) 推荐(0) 编辑
Spark 架构原理介绍 以及 job、task、stag 概念
摘要： Spark运行模式 一：Spark 运行架构介绍 相关术语概念详解： Application：指的是用户编写的Spark应用程序，包含了一个Driver功能的代码和分布在集群中多节点上运行的Executor代码。 Driver：Spark中的Driver就是运行Application的main()函 阅读全文
posted @ 2019-02-23 07:08 局外人~~ 阅读(757) 评论(0) 推荐(0) 编辑