摘要:
双向链表 上文中详解了单向链表, 本节主要针对双向链表的原理、优缺点以及各个操作进行讲解。 双向链表对于单项链表来说,它支持两个方向,每个结点不止有一个后继指针next指向后面的结点,而且还有一个前驱指针prev指向前面的结点,结合图来看看: 从图中可以看出,双向链表需要额外的两个空间来存储后继结点 阅读全文
摘要:
一、数组的概念 定义:数组(Array)是一种线性表数据结构。它用一组连续的内存空间,来存储一组具有相同类型的数据。 从概念中可以知道一下几点: 数组是线性表。 所谓的线性表就是数据排成一排,想一条线一样的结构。每个线性表上的数据最多只有前和后两个方向。当然除了数组,链表、队列、栈等也是线性表结构 阅读全文
摘要:
链表是一种用于存储数据集合的数据结构。链表有以下几个属性: 相邻元素之间通过指针进行连接 最后一个元素的后继指针值为NULL 在程序执行的过程中,链表的长度可以增加或缩小 链表的空间能够按需分配(直到系统内存耗尽) 没有内存空间的浪费(但是链表中的指针需要一些额外的内存开销) 一、链表的分类 链表大 阅读全文
摘要:
#!/usr/bin/env bash ############################### # 脚本名称 : userManager.sh # # 脚本功能 : 账号管理 # # 脚本参数 : 无 # # 创建时间 : 2019-07-25 # # 作 者 : Mr.Guo # # 版 ... 阅读全文
摘要:
UDF: 一、编写udf类,在其中定义udf函数 package spark._sql.UDF import org.apache.spark.sql.functions._ /** * AUTHOR Guozy * DATE 2019/7/18-9:41 **/ object udfs { def 阅读全文
摘要:
分析函数的应用场景: (1)用于分组后组内排序 (2)指定计算范围 (3)Top N (4)累加计算 (5)层次计算 分析函数的一般语法: 分析函数的语法结构一般是: 分析函数名(参数) over (子partition by 句 order by 字句 rows/range 字句) 1、分析函数名 阅读全文
摘要:
一、计算指定日期的前一天的日期 date -d "yesterday 20150401 " +%Y%m%d 二、如果获取当前日期的前一天 date -d "yesterday" +%Y%m%d 三、计算指定日期的前几天(例如计算20190716的前10天),如果是负数的话,则会往前数 date -d 阅读全文
摘要:
spark版本:1.6.0 scala版本:2.10 报错日志: Application application_1562341921664_2123 failed 2 times due to AM Container for appattempt_1562341921664_2123_00000 阅读全文
摘要:
在spark中,框架默认使用的事hashPartitioner分区器进行对rdd分区,但是实际生产中,往往使用spark自带的分区器会产生数据倾斜等原因,这个时候就需要我们自定义分区,按照我们指定的字段进行分区。具体的流程步骤如下: 1、创建一个自定义的分区类,并继承Partitioner,注意这个 阅读全文
摘要:
idea使用maven插件打jar包步骤以及遇到的问题 一、在pom中添加插件,直接复制就好,如下选项 注意:关于插件中这个地方需要注意一下: 这里分为两种情况 a.打包scala程序 如果只是打包scala程序的话,这里代表的是主函数的方法名,一定是全路径名(包名+类名) jar包运行方式:jav 阅读全文