摘要: 性能调优 (1)数据接收并行度调优(一) 通过网络接收数据时(比如Kafka、Flume),会将数据反序列化,并存储在Spark的内存中。如果数据接收称为系统的瓶颈,那么可以考虑并行化数据接收。每一个输入DStream都会在某个Worker的Executor上启动一个Receiver,该Receiv 阅读全文
posted @ 2019-08-21 17:46 Transkai 阅读(774) 评论(0) 推荐(0) 编辑
摘要: 一.容错机制以及事务语义详解 (1)容错机制的背景 要理解Spark Streaming提供的容错机制,先回忆一下Spark RDD的基础容错语义: 1、RDD,Ressilient Distributed Dataset,是不可变的、确定的、可重新计算的、分布式的数据集。每个RDD都会记住确定好的 阅读全文
posted @ 2019-08-21 17:42 Transkai 阅读(359) 评论(0) 推荐(0) 编辑
摘要: 一.缓存与持久化机制 与RDD类似,Spark Streaming也可以让开发人员手动控制,将数据流中的数据持久化到内存中。对DStream调用persist()方法,就可以让Spark Streaming自动将该数据流中的所有产生的RDD,都持久化到内存中。如果要对一个DStream多次执行操作, 阅读全文
posted @ 2019-08-21 15:36 Transkai 阅读(974) 评论(0) 推荐(0) 编辑
摘要: 题目描述 写一个函数,求两个整数之和,要求在函数体内不得使用+、-、*、/四则运算符号。 解题思路 两个数异或:相当于每一位相加,而不考虑进位; 两个数相与,并左移一位:相当于求得进位; 将上述两步的结果相加 代码如下 public int Add(int num1,int num2) { whil 阅读全文
posted @ 2019-08-21 10:09 Transkai 阅读(165) 评论(0) 推荐(0) 编辑
摘要: 题目描述 求1+2+3+...+n,要求不能使用乘除法、for、while、if、else、switch、case等关键字及条件判断语句(A?B:C)。 解题思路一 1.需利用逻辑与的短路特性实现递归终止。 2.当n==0时,(n>0)&&((sum+=Sum_Solution(n-1))>0)只执 阅读全文
posted @ 2019-08-21 09:52 Transkai 阅读(144) 评论(0) 推荐(0) 编辑
摘要: 题目描述 每年六一儿童节,牛客都会准备一些小礼物去看望孤儿院的小朋友,今年亦是如此。HF作为牛客的资深元老,自然也准备了一些小游戏。其中,有个游戏是这样的:首先,让小朋友们围成一个大圈。然后,他随机指定一个数m,让编号为0的小朋友开始报数。每次喊到m-1的那个小朋友要出列唱首歌,然后可以在礼品箱中任 阅读全文
posted @ 2019-08-21 09:25 Transkai 阅读(174) 评论(0) 推荐(0) 编辑