03 2020 档案
摘要:1、scala trait(特征)和abstract class(抽象类)的区别? scala中一个类可以继承多个特征中间用with相连; trailt中的定义的方法,可以有实现,也可以没有实现; 抽象类不能多继承,只能是单继承; 抽象类和java的抽象类类似,可以有抽象方法,也可以有非抽象方法;
阅读全文
摘要:在Scala中存在case class,它其实就是一个普通的class。但是它又和普通的class略有区别,如下: 1、初始化的时候可以不用new,当然你也可以加上,普通类一定需要加new; scala> case class Iteblog(name:String) defined class I
阅读全文
摘要:1、为什么Spark会选择Scala可能更有意义一点。 Spark主创Matei在不同场合回答两次这个问题,思考的点稍微不一样,但重点是一样的,很适合回答题主的问题。总结来说最主要有三点: (1)API能做得优雅; 这是框架设计师第一个要考虑的问题,框架的用户是应用开发程序员,API是否优雅直接影响
阅读全文
摘要:1、spark中一个job中的某个task卡顿不动了: https://blog.csdn.net/fct2001140269/article/details/103732120 解决思路: (1)是否有数据倾斜的可能。 (2)查看cpu,内存是否异常,cpu是否被打满,若被打满,查看到底是哪个进程
阅读全文
摘要:https://blog.csdn.net/weixin_42617262/article/details/85344819 1、多层继承 2、内部类 3、接口 java中父类与子类有相同属性调谁?取决于左边 https://blog.csdn.net/HD243608836/article/det
阅读全文
摘要:1、什么是数据仓库 数据仓库,英文名称为Data Warehouse,可简写为DW或DWH。数据仓库,是为企业所有级别的决策制定过程,提供所有类型数据支持的战略集合。它出于分析性报告和决策支持目的而创建。 为需要业务智能的企业,提供指导业务流程改进、监视时间、成本、质量以及控制。 2、数仓为什么要分
阅读全文
摘要:直接一点上图(使用的是JDK1.7的源码):Object类总共13个方法 1.clone方法 保护方法,实现对象的浅复制,只有实现了Cloneable接口才可以调用该方法,否则抛出CloneNotSupportedException异常。 主要是JAVA里除了8种基本类型传参数是值传递,其他的类对象
阅读全文
摘要:https://www.liaoxuefeng.com/wiki/1252599548343744/1282381977747489
阅读全文
摘要:1、==与eques == : 它的作用是判断两个对象的地址是不是相等。即,判断两个对象是不是同一个对象。(基本数据类型==比较的是值,引用数据类型==比较的是内存地址) equals() : 它的作用也是判断两个对象是否相等。但它一般有两种使用情况: 情况1:类没有覆盖 equals() 方法。则
阅读全文
摘要:1、CDH: CDH是Cloudera的100%开源平台发行版,包括Apache Hadoop,专为满足企业需求而构建。CDH提供开箱即用的企业使用所需的一切。通过将Hadoop与十几个其他关键的开源项目集成,Cloudera创建了一个功能先进的系统,可帮助您执行端到端的大数据工作流程。 简单来说:
阅读全文
摘要:一、sparkStreaming窗口函数概念: 1、reduceByKeyAndWindow(_+_,Seconds(3), Seconds(2)) 可以看到我们定义的window窗口大小Seconds(3s) ,是指每2s滑动时,需要统计前3s内所有的数据。 2、重载函数reduceByKeyAn
阅读全文
摘要:1、UDF的定义 UDF(User-Defined Functions)即是用户定义的hive函数。hive自带的函数并不能完全满足业务需求,这时就需要我们自定义函数了 UDF的分类 UDF:one to one,进来一个出去一个,row mapping。是row级别操作,如:upper、subst
阅读全文
摘要:1、题目描述: https://leetcode-cn.com/problems/sliding-window-maximum/ 给定一个数组 nums,有一个大小为 k 的滑动窗口从数组的最左侧移动到数组的最右侧。你只可以看到在滑动窗口内的 k 个数字。滑动窗口每次只向右移动一位。 返回滑动窗口中
阅读全文
摘要:一、MapReduce程序编写: (1)继承Mapper类,重写map方法: org.apache.hadoop.mapreduce.Mapper public class WordcountMapper extends Mapper<LongWritable, Text, Text, IntWri
阅读全文
摘要:1、hive中的order by,sort by,distribut by,cluster by及其区别 转载博客:https://www.cnblogs.com/dcx-1993/p/11041228.html hive 查询语法 1 2 3 4 5 6 7 select [all | disti
阅读全文
摘要:1、SparkStreaming直连方式和Receiver方式的区别: https://mp.weixin.qq.com/s/-K6I2QNebJ0N414jMLfOSg 2、如何手动管理kafka偏移量: https://www.jianshu.com/p/bf422de60e8b 3、实时计算编
阅读全文
摘要:1、题目描述: https://www.nowcoder.com/practice/cd99fbc6154d4074b4da0e74224a1582?tpId=37&tqId=21272&tPage=3&rp=&ru=%2Fta%2Fhuawei&qru=%2Fta%2Fhuawei%2Fquest
阅读全文
摘要:转载博客:http://hbasefly.com/2017/03/19/sparksql-basic-join/ 目录: 一、Join背景介绍 二、Join常见分类以及基本实现机制 三、sparksql如何选择join类型 一、Join背景介绍 Join是数据库查询永远绕不开的话题,传统查询SQL技
阅读全文
摘要:https://blog.csdn.net/dwl0208/article/details/83448520 1、未使用索引列作为查询条件。 2、索引列是字符串,但是查询的时候没有加引号。 3、使用like的时候通配符%在前。 4、在查询条件中使用OR,查询条件中使用or会使索引失效,要想是索引生效
阅读全文
摘要:https://blog.csdn.net/xujunabc999/article/details/47374303 https://www.cnblogs.com/maydow/p/4782482.html 解法1:使用java自带的BigDecimal类 import java.math.Big
阅读全文
摘要:https://blog.csdn.net/weixin_43263961/article/details/89075743
阅读全文
摘要:目录 一、常见文件存储格式和压缩格式 二、parquet和orc列式存储格式 一、常见文件存储格式和压缩格式 着大数据时代的到来,越来越多的数据流向了Hadoop生态圈,同时对于能够快速的从TB甚至PB级别的数据中获取有价值的数据对于一个产品和公司来说更加重要,在Hadoop生态圈的快速发展过程中,
阅读全文
摘要:https://blog.csdn.net/qq_15720911/article/details/77860012 每次调整都要计算一次差值,然后比较
阅读全文
摘要:1、题目描述: https://blog.csdn.net/u010005281/article/details/80412927 2、思路: 拿到每个人的集五福的情况后,依次统计每个五福的张数,取最小的那个张数,就是最后一共能集多少套。 3、代码: import java.util.Scanner
阅读全文
摘要:1、题目描述: https://blog.csdn.net/Aoulun/article/details/79960147 https://blog.csdn.net/qq_34383463/article/details/75300820?depth_1-utm_source=distribute
阅读全文
摘要:1、题目描述: https://blog.csdn.net/goushaoping04/article/details/1519208 2、思路: 按照题目描述的方式,将每个士兵的手中的子弹同时拿出一半给下一个人,这个过程需要推导至一步一步遍历的方式。主要就是要解决下一个士兵的一半的问题,按步遍历这
阅读全文
摘要:1、题目描述: 连续输入字符串(输出次数为N,字符串长度小于100),请按长度为8拆分每个字符串后输出到新的字符串数组,长度不是8整数倍的字符串请在后面补数字0,空字符串不处理。 首先输入一个整数,为要输入的字符串个数。 例如: 输入:2 abc 12345789 输出:abc00000 12345
阅读全文
摘要:乐观锁 乐观锁是一种乐观思想,即认为读多写少,遇到并发写的可能性低,每次去拿数据的时候都认为别人不会修改,所以不会上锁,但是在更新的时候会判断一下在此期间别人有没有去更新这个数据,采取在写时先读出当前版本号,然后加锁操作(比较跟上一次的版本号,如果一样则更新),如果失败则要重复读-比较-写的操作。
阅读全文
摘要:1、题目描述: 输入一个字符串,求出该字符串包含的字符集合 输出描述: 每组数据一行,按字符串原有的字符顺序,输出字符集合,即重复出现并靠后的字母不输出。 输入例子1: abcqweracb 输出例子1: abcqwer 2、思路: 直接用set集合去重。 3、代码: import java.uti
阅读全文
摘要:1、题目描述: 有一个数组a[N]顺序存放0~N-1,要求每隔两个数删掉一个数,到末尾时循环至开头继续进行,求最后一个被删掉的数的原始下标位置。以8个数(N=7)为例:{0,1,2,3,4,5,6,7},0->1->2(删除)->3->4->5(删除)->6->7->0(删除),如此循环直到最后一个
阅读全文