09 2019 档案
摘要:近几月,想要了解Spark的内部实现原理,因此想要查阅Spark的源码信息,现将所了解的资料汇总如下: 1. 博客文字类 (1) 官网 1) github 2) Spark官网 (2) gitbook 1) The Internals of Spark Structured Streaming:对s
阅读全文
摘要:1. 简介 SparkConf类负责管理Spark的所有配置项。在我们使用Spark的过程中,经常需要灵活配置各种参数,来使程序更好、更快地运行,因此也必然要与SparkConf类频繁打交道。了解它的细节不无裨益。 2. SparkConf类的构造方法 下面先来看一看SparkConf类的构造方法。
阅读全文