摘要：
题目描述 输入一个递增排序的数组和一个数字S，在数组中查找两个数，使得他们的和正好是S，如果有多对数字的和等于S，输出两个数的乘积最小的。 输出描述 对应每个测试案例，输出两个数，小的先输出。 输入一个递增排序的数组和一个数字S，在数组中查找两个数，使得他们的和正好是S，如果有多对数字的和等于S，输 阅读全文
摘要：
题目描述 小明很喜欢数学,有一天他在做数学作业时,要求计算出9~16的和,他马上就写出了正确答案是100。但是他并不满足于此,他在想究竟有多少种连续的正数序列的和为100(至少包括两个数)。没多久,他就得到另一组连续正数和为100的序列:18,19,20,21,22。现在把问题交给你,你能不能也很快 阅读全文
摘要：
题目描述 一个整型数组里除了两个数字之外，其他的数字都出现了两次。请写程序找出这两个只出现一次的数字。 解题思路 先将数组进行排序，由于除了两个数字之外，其他的数字都出现了两次，所以排序后的数组的前一个数字与后一个数字相同的话，i=i+2; 前一个数字与后一个数字不相同的话，则表明这个数字只出现一次 阅读全文
摘要：
1. 官方文档 http://spark.apache.org/docs/latest/running-on-yarn.html 2. 配置安装 2.1.安装hadoop：需要安装HDFS模块和YARN模块，HDFS必须安装，spark运行时要把jar包存放到HDFS上。 2.2.安装Spark：解 阅读全文
摘要：
一、 以编程方式执行Spark SQL查询 1． 编写Spark SQL程序实现RDD转换成DataFrame 前面我们学习了如何在Spark Shell中使用SQL完成查询，现在我们通过IDEA编写Spark SQL查询程序。 Spark官网提供了两种方法来实现从RDD转换得到DataFrame， 阅读全文
摘要：
目标1：掌握Spark SQL原理 目标2：掌握DataFrame/DataSet数据结构和使用方式 目标3：熟练使用Spark SQL完成计算任务 1． Spark SQL概述 1.1． Spark SQL的前世今生 Shark是一个为Spark设计的大规模数据仓库系统，它与Hive兼容。Shar 阅读全文
摘要：
Executor原理剖析 Task原理剖析 Shuffle原理剖析 1、在Spark中，什么情况下，会发生shuffle？reduceByKey、groupByKey、sortByKey、countByKey、join、cogroup等操作。2、默认的Shuffle操作的原理剖析3、优化后的Shuf 阅读全文
摘要：
SparkContext原理 Master主备切换机制 Master注册机制 Worker原理 job触发流程原理 val lines = sc.textFile()val words = lines.flatMap(line => line.split(" "))val pairs = words 阅读全文
摘要：
一.Spark内核架构 1、Application2、spark-submit3、Driver4、SparkContext5、Master6、Worker7、Executor8、Job9、DAGScheduler10、TaskScheduler11、ShuffleMapTask and Result 阅读全文
摘要：
（1）基于排序机制的wordcount程序 对于以下文件 进行wordcount,并按照出现次数多少排序 代码如下： 结果如下： （2）二次排序 对于以下文件内容 1 52 43 61 32 1 要想得到以下结果 可以通过以下代码 （3）topn 1、对文本文件内的数字，取最大的前3个。 2、对每个 阅读全文
摘要：
2.4 RDD 持久化 2.4.1 RDD 的缓存 Spark 速度非常快的原因之一，就是在不同操作中可以在内存中持久化或缓存个数据集。当持久化某个 RDD 后，每一个节点都将把计算的分片结果保存在内存中，并在对此 RDD 或衍生出的 RDD 进行的其他动作中重用。这使得后续的动作变得更加迅速。RD 阅读全文
摘要：
第1章 RDD 概念 1.1 RDD 为什么会产生 RDD：Resilient Distributed Dataset 弹性分布式数据集 RDD 是 Spark 的基石，是实现 Spark 数据处理的核心抽象。那么 RDD 为什么会产生呢？ Hadoop 的 MapReduce 是一种基于数据集的工 阅读全文
摘要：
一、 Spark角色介绍 Spark是基于内存计算的大数据并行计算框架。因为其基于内存计算，比Hadoop中MapReduce计算框架具有更高的实时性，同时保证了高效容错性和可伸缩性。从2009年诞生于AMPLab到现在已经成为Apache顶级开源项目，并成功应用于商业集群中，学习Spark就需要了 阅读全文
摘要：
题目描述 输入一棵二叉树，判断该二叉树是否是平衡二叉树。 解题思路 /后续遍历二叉树，遍历过程中求子树高度，判断是否平衡 代码如下 public boolean IsBalanced_Solution(TreeNode root) { return getDepth(root) != -1; } p 阅读全文
摘要：
题目描述 输入一棵二叉树，求该树的深度。从根结点到叶结点依次经过的结点（含根、叶结点）形成树的一条路径，最长路径的长度为树的深度。 解题思路 从跟节点出发， 查询左子树的深度 ， 获取右子树的深度，比较一下，取大的，再加一 。就是整个二叉树的深度 递归的三个条件 边界条件：当前节点下，是否还有子节点 阅读全文