摘要: Spark 累加器与广播变量 一、简介 在 Spark 中,提供了两种类型的共享变量:累加器 (accumulator) 与广播变量 (broadcast variable): 累加器:用来对信息进行聚合,主要用于累计计数等场景; 广播变量:主要用于在节点间高效分发大对象。 二、累加器 这里先看一个 阅读全文
posted @ 2021-01-17 23:45 Hoult丶吴邪 阅读(291) 评论(0) 推荐(0) 编辑
摘要: 1.RDD缓存机制 cache, persist Spark 速度非常快的一个原因是 RDD 支持缓存。成功缓存后,如果之后的操作使用到了该数据集,则直接从缓存中获取。虽然缓存也有丢失的风险,但是由于 RDD 之间的依赖关系,如果某个分区的缓存数据丢失,只需要重新计算该分区即可。 涉及到的算子:pe 阅读全文
posted @ 2021-01-17 23:42 Hoult丶吴邪 阅读(600) 评论(0) 推荐(0) 编辑
摘要: 1.搜索插入位置 https://leetcode-cn.com/problems/search-insert-position/ class Solution { public int searchInsert(int[] nums, int target) { int left=0,right= 阅读全文
posted @ 2021-01-17 23:37 Hoult丶吴邪 阅读(136) 评论(0) 推荐(0) 编辑
摘要: 0. 前言 简单的题目,但是没有练习过或者背过,可能反而也写不出来,在面试中往往是在短时间内就写完,你没有时间画图,没有时间推演,这些都只能在脑子里快速完成,有时候拼了很久,觉得还是没有感觉,即使写出来了,在过后的一周到一个月照样会忘记,bug free地写出来还是很费力,作为对此深有体会的,或许跟 阅读全文
posted @ 2021-01-17 23:18 Hoult丶吴邪 阅读(165) 评论(0) 推荐(0) 编辑
摘要: 作为一名从副业中已赚取几个月工资的韭菜,显然对这类题目很有搞头,但是实际中往往不知道的是股票的未来价格,所以需要预测,而你的实盘实际上也会反过来影响股票,所以没人能完整预测股票的走势,那些从回溯中取的最大值的算法,就是下面的几种,有必要掌握一下,假若某一天你穿越回去,你任选一种算法,那么你就可以从1 阅读全文
posted @ 2021-01-17 23:10 Hoult丶吴邪 阅读(756) 评论(0) 推荐(1) 编辑