1.rdd的数据是过程数据
rdd之间进行相互迭代计算,当执行开启后,新rdd的产生,代表老rdd的消失
rdd的数据是过程数据,只在处理的过程中存在,一旦处理完成,就不见了
这样可以最大化的利用资源
2.rdd的缓存
sparkt提供了缓存api,可以让我们通过调用api,将指定的rdd数据保留在内存或者硬盘上
缓存特点:
缓存技术可以将过程rdd数据,持久化保存到内存或者硬盘上,但是,这个保存再设定上认为是不安全的
其保留rdd之间的血缘关系
缓存时分散存储的
3.rdd的checkpoint
checkpoint存储rdd数据,是集中收集再各个分区数据进行存储,而缓存是分散存储
4.checkpoint和缓存的对比
checkpoint不管分区数量多少,风险是一样的,缓存分区越多,风险越高
checkpoint支持写入hdfs,缓存不行,hdfs是高可靠存储,checkpoint被认为是安全的
checkpoint不支持内存,缓存可以,缓存如果写内存性能比checkpoint要好一些
checkpoint在设计上认为是安全的,所以不保留血缘关系,而缓存因为设计上认为不安全,所以保留
第四章
1.jieba库可以对中文进行分词
2.由于yarn是集群运行,executor可以在所有服务器上执行,所以每个服务器都需要有哦jieba库提供支撑
3.如何尽量提高任务计算的资源
计算cpu核心和内存量,通过–executor-memory指定executor内存,通过–executor-cores指定executor的核心
通过—num-executors指定executor数量
rdd之间进行相互迭代计算,当执行开启后,新rdd的产生,代表老rdd的消失
rdd的数据是过程数据,只在处理的过程中存在,一旦处理完成,就不见了
这样可以最大化的利用资源
2.rdd的缓存
sparkt提供了缓存api,可以让我们通过调用api,将指定的rdd数据保留在内存或者硬盘上
缓存特点:
缓存技术可以将过程rdd数据,持久化保存到内存或者硬盘上,但是,这个保存再设定上认为是不安全的
其保留rdd之间的血缘关系
缓存时分散存储的
3.rdd的checkpoint
checkpoint存储rdd数据,是集中收集再各个分区数据进行存储,而缓存是分散存储
4.checkpoint和缓存的对比
checkpoint不管分区数量多少,风险是一样的,缓存分区越多,风险越高
checkpoint支持写入hdfs,缓存不行,hdfs是高可靠存储,checkpoint被认为是安全的
checkpoint不支持内存,缓存可以,缓存如果写内存性能比checkpoint要好一些
checkpoint在设计上认为是安全的,所以不保留血缘关系,而缓存因为设计上认为不安全,所以保留
第四章
1.jieba库可以对中文进行分词
2.由于yarn是集群运行,executor可以在所有服务器上执行,所以每个服务器都需要有哦jieba库提供支撑
3.如何尽量提高任务计算的资源
计算cpu核心和内存量,通过–executor-memory指定executor内存,通过–executor-cores指定executor的核心
通过—num-executors指定executor数量