09 2019 档案

摘要:近几月,想要了解Spark的内部实现原理,因此想要查阅Spark的源码信息,现将所了解的资料汇总如下: 1. 博客文字类 (1) 官网 1) github 2) Spark官网 (2) gitbook 1) The Internals of Spark Structured Streaming:对s 阅读全文
posted @ 2019-09-02 15:33 mengrennwpu 阅读(350) 评论(0) 推荐(0) 编辑
摘要:1. 简介 SparkConf类负责管理Spark的所有配置项。在我们使用Spark的过程中,经常需要灵活配置各种参数,来使程序更好、更快地运行,因此也必然要与SparkConf类频繁打交道。了解它的细节不无裨益。 2. SparkConf类的构造方法 下面先来看一看SparkConf类的构造方法。 阅读全文
posted @ 2019-09-02 14:59 mengrennwpu 阅读(544) 评论(0) 推荐(0) 编辑