03 2020 档案

摘要:1、scala trait(特征)和abstract class(抽象类)的区别? scala中一个类可以继承多个特征中间用with相连; trailt中的定义的方法,可以有实现,也可以没有实现; 抽象类不能多继承,只能是单继承; 抽象类和java的抽象类类似,可以有抽象方法,也可以有非抽象方法; 阅读全文
posted @ 2020-03-31 15:55 guoyu1 阅读(2041) 评论(0) 推荐(1) 编辑
摘要:在Scala中存在case class,它其实就是一个普通的class。但是它又和普通的class略有区别,如下: 1、初始化的时候可以不用new,当然你也可以加上,普通类一定需要加new; scala> case class Iteblog(name:String) defined class I 阅读全文
posted @ 2020-03-30 16:51 guoyu1 阅读(2562) 评论(0) 推荐(0) 编辑
摘要:1、为什么Spark会选择Scala可能更有意义一点。 Spark主创Matei在不同场合回答两次这个问题,思考的点稍微不一样,但重点是一样的,很适合回答题主的问题。总结来说最主要有三点: (1)API能做得优雅; 这是框架设计师第一个要考虑的问题,框架的用户是应用开发程序员,API是否优雅直接影响 阅读全文
posted @ 2020-03-30 16:17 guoyu1 阅读(1305) 评论(0) 推荐(0) 编辑
摘要:1、spark中一个job中的某个task卡顿不动了: https://blog.csdn.net/fct2001140269/article/details/103732120 解决思路: (1)是否有数据倾斜的可能。 (2)查看cpu,内存是否异常,cpu是否被打满,若被打满,查看到底是哪个进程 阅读全文
posted @ 2020-03-30 10:25 guoyu1 阅读(391) 评论(0) 推荐(0) 编辑
摘要:https://blog.csdn.net/weixin_42617262/article/details/85344819 1、多层继承 2、内部类 3、接口 java中父类与子类有相同属性调谁?取决于左边 https://blog.csdn.net/HD243608836/article/det 阅读全文
posted @ 2020-03-26 09:56 guoyu1 阅读(1344) 评论(0) 推荐(0) 编辑
摘要:1、什么是数据仓库 数据仓库,英文名称为Data Warehouse,可简写为DW或DWH。数据仓库,是为企业所有级别的决策制定过程,提供所有类型数据支持的战略集合。它出于分析性报告和决策支持目的而创建。 为需要业务智能的企业,提供指导业务流程改进、监视时间、成本、质量以及控制。 2、数仓为什么要分 阅读全文
posted @ 2020-03-24 15:20 guoyu1 阅读(576) 评论(0) 推荐(0) 编辑
摘要:直接一点上图(使用的是JDK1.7的源码):Object类总共13个方法 1.clone方法 保护方法,实现对象的浅复制,只有实现了Cloneable接口才可以调用该方法,否则抛出CloneNotSupportedException异常。 主要是JAVA里除了8种基本类型传参数是值传递,其他的类对象 阅读全文
posted @ 2020-03-20 14:52 guoyu1 阅读(182) 评论(0) 推荐(0) 编辑
摘要:https://www.liaoxuefeng.com/wiki/1252599548343744/1282381977747489 阅读全文
posted @ 2020-03-20 10:34 guoyu1 阅读(121) 评论(0) 推荐(0) 编辑
摘要:1、==与eques == : 它的作用是判断两个对象的地址是不是相等。即,判断两个对象是不是同一个对象。(基本数据类型==比较的是值,引用数据类型==比较的是内存地址) equals() : 它的作用也是判断两个对象是否相等。但它一般有两种使用情况: 情况1:类没有覆盖 equals() 方法。则 阅读全文
posted @ 2020-03-20 09:51 guoyu1 阅读(560) 评论(0) 推荐(0) 编辑
摘要:1、CDH: CDH是Cloudera的100%开源平台发行版,包括Apache Hadoop,专为满足企业需求而构建。CDH提供开箱即用的企业使用所需的一切。通过将Hadoop与十几个其他关键的开源项目集成,Cloudera创建了一个功能先进的系统,可帮助您执行端到端的大数据工作流程。 简单来说: 阅读全文
posted @ 2020-03-20 08:44 guoyu1 阅读(452) 评论(0) 推荐(0) 编辑
摘要:一、sparkStreaming窗口函数概念: 1、reduceByKeyAndWindow(_+_,Seconds(3), Seconds(2)) 可以看到我们定义的window窗口大小Seconds(3s) ,是指每2s滑动时,需要统计前3s内所有的数据。 2、重载函数reduceByKeyAn 阅读全文
posted @ 2020-03-17 10:19 guoyu1 阅读(1248) 评论(1) 推荐(0) 编辑
摘要:1、UDF的定义 UDF(User-Defined Functions)即是用户定义的hive函数。hive自带的函数并不能完全满足业务需求,这时就需要我们自定义函数了 UDF的分类 UDF:one to one,进来一个出去一个,row mapping。是row级别操作,如:upper、subst 阅读全文
posted @ 2020-03-16 18:03 guoyu1 阅读(2259) 评论(0) 推荐(0) 编辑
摘要:1、题目描述: https://leetcode-cn.com/problems/sliding-window-maximum/ 给定一个数组 nums,有一个大小为 k 的滑动窗口从数组的最左侧移动到数组的最右侧。你只可以看到在滑动窗口内的 k 个数字。滑动窗口每次只向右移动一位。 返回滑动窗口中 阅读全文
posted @ 2020-03-16 15:26 guoyu1 阅读(213) 评论(0) 推荐(0) 编辑
摘要:一、MapReduce程序编写: (1)继承Mapper类,重写map方法: org.apache.hadoop.mapreduce.Mapper public class WordcountMapper extends Mapper<LongWritable, Text, Text, IntWri 阅读全文
posted @ 2020-03-11 11:22 guoyu1 阅读(701) 评论(0) 推荐(0) 编辑
摘要:1、hive中的order by,sort by,distribut by,cluster by及其区别 转载博客:https://www.cnblogs.com/dcx-1993/p/11041228.html hive 查询语法 1 2 3 4 5 6 7 select [all | disti 阅读全文
posted @ 2020-03-10 18:01 guoyu1 阅读(284) 评论(0) 推荐(0) 编辑
摘要:1、SparkStreaming直连方式和Receiver方式的区别: https://mp.weixin.qq.com/s/-K6I2QNebJ0N414jMLfOSg 2、如何手动管理kafka偏移量: https://www.jianshu.com/p/bf422de60e8b 3、实时计算编 阅读全文
posted @ 2020-03-08 21:27 guoyu1 阅读(430) 评论(0) 推荐(0) 编辑
摘要:1、题目描述: https://www.nowcoder.com/practice/cd99fbc6154d4074b4da0e74224a1582?tpId=37&tqId=21272&tPage=3&rp=&ru=%2Fta%2Fhuawei&qru=%2Fta%2Fhuawei%2Fquest 阅读全文
posted @ 2020-03-07 17:49 guoyu1 阅读(101) 评论(0) 推荐(0) 编辑
摘要:转载博客:http://hbasefly.com/2017/03/19/sparksql-basic-join/ 目录: 一、Join背景介绍 二、Join常见分类以及基本实现机制 三、sparksql如何选择join类型 一、Join背景介绍 Join是数据库查询永远绕不开的话题,传统查询SQL技 阅读全文
posted @ 2020-03-07 16:41 guoyu1 阅读(515) 评论(0) 推荐(0) 编辑
摘要:https://blog.csdn.net/dwl0208/article/details/83448520 1、未使用索引列作为查询条件。 2、索引列是字符串,但是查询的时候没有加引号。 3、使用like的时候通配符%在前。 4、在查询条件中使用OR,查询条件中使用or会使索引失效,要想是索引生效 阅读全文
posted @ 2020-03-07 09:56 guoyu1 阅读(288) 评论(0) 推荐(0) 编辑
摘要:https://blog.csdn.net/xujunabc999/article/details/47374303 https://www.cnblogs.com/maydow/p/4782482.html 解法1:使用java自带的BigDecimal类 import java.math.Big 阅读全文
posted @ 2020-03-06 16:53 guoyu1 阅读(120) 评论(0) 推荐(0) 编辑
摘要:https://blog.csdn.net/weixin_43263961/article/details/89075743 阅读全文
posted @ 2020-03-06 16:48 guoyu1 阅读(84) 评论(0) 推荐(0) 编辑
摘要:目录 一、常见文件存储格式和压缩格式 二、parquet和orc列式存储格式 一、常见文件存储格式和压缩格式 着大数据时代的到来,越来越多的数据流向了Hadoop生态圈,同时对于能够快速的从TB甚至PB级别的数据中获取有价值的数据对于一个产品和公司来说更加重要,在Hadoop生态圈的快速发展过程中, 阅读全文
posted @ 2020-03-06 11:24 guoyu1 阅读(835) 评论(0) 推荐(0) 编辑
摘要:https://blog.csdn.net/qq_15720911/article/details/77860012 每次调整都要计算一次差值,然后比较 阅读全文
posted @ 2020-03-05 15:42 guoyu1 阅读(268) 评论(0) 推荐(0) 编辑
摘要:1、题目描述: https://blog.csdn.net/u010005281/article/details/80412927 2、思路: 拿到每个人的集五福的情况后,依次统计每个五福的张数,取最小的那个张数,就是最后一共能集多少套。 3、代码: import java.util.Scanner 阅读全文
posted @ 2020-03-05 15:09 guoyu1 阅读(414) 评论(0) 推荐(0) 编辑
摘要:1、题目描述: https://blog.csdn.net/Aoulun/article/details/79960147 https://blog.csdn.net/qq_34383463/article/details/75300820?depth_1-utm_source=distribute 阅读全文
posted @ 2020-03-05 14:41 guoyu1 阅读(329) 评论(0) 推荐(0) 编辑
摘要:1、题目描述: https://blog.csdn.net/goushaoping04/article/details/1519208 2、思路: 按照题目描述的方式,将每个士兵的手中的子弹同时拿出一半给下一个人,这个过程需要推导至一步一步遍历的方式。主要就是要解决下一个士兵的一半的问题,按步遍历这 阅读全文
posted @ 2020-03-04 22:20 guoyu1 阅读(214) 评论(0) 推荐(0) 编辑
摘要:1、题目描述: 连续输入字符串(输出次数为N,字符串长度小于100),请按长度为8拆分每个字符串后输出到新的字符串数组,长度不是8整数倍的字符串请在后面补数字0,空字符串不处理。 首先输入一个整数,为要输入的字符串个数。 例如: 输入:2 abc 12345789 输出:abc00000 12345 阅读全文
posted @ 2020-03-04 18:49 guoyu1 阅读(262) 评论(0) 推荐(0) 编辑
摘要:乐观锁 乐观锁是一种乐观思想,即认为读多写少,遇到并发写的可能性低,每次去拿数据的时候都认为别人不会修改,所以不会上锁,但是在更新的时候会判断一下在此期间别人有没有去更新这个数据,采取在写时先读出当前版本号,然后加锁操作(比较跟上一次的版本号,如果一样则更新),如果失败则要重复读-比较-写的操作。 阅读全文
posted @ 2020-03-02 22:01 guoyu1 阅读(121) 评论(0) 推荐(0) 编辑
摘要:1、题目描述: 输入一个字符串,求出该字符串包含的字符集合 输出描述: 每组数据一行,按字符串原有的字符顺序,输出字符集合,即重复出现并靠后的字母不输出。 输入例子1: abcqweracb 输出例子1: abcqwer 2、思路: 直接用set集合去重。 3、代码: import java.uti 阅读全文
posted @ 2020-03-02 15:44 guoyu1 阅读(1273) 评论(0) 推荐(0) 编辑
摘要:1、题目描述: 有一个数组a[N]顺序存放0~N-1,要求每隔两个数删掉一个数,到末尾时循环至开头继续进行,求最后一个被删掉的数的原始下标位置。以8个数(N=7)为例:{0,1,2,3,4,5,6,7},0->1->2(删除)->3->4->5(删除)->6->7->0(删除),如此循环直到最后一个 阅读全文
posted @ 2020-03-02 11:52 guoyu1 阅读(275) 评论(0) 推荐(0) 编辑

点击右上角即可分享
微信分享提示