摘要: 1.概述 HBase是典型的Master-Slave模型,系统中有一个Master节点和多个RegionServer节点,此外,存储借助HDFS来实现,同时通过Zookeeper来协助Master对集群进行管理,结构如下图所示: 2.客户端 Client提供Shell命令行接口、原生Java API 阅读全文
posted @ 2020-09-15 21:42 马晟 阅读(645) 评论(0) 推荐(0) 编辑
摘要: 1.通过spark-submit脚本提交spark程序 在spark-submit脚本里面执行了SparkSubmit类的main方法 2.运行SparkSubmit类的main方法 3.调用doSubmit方法 4.调用submit方法 在submit方法里调用doRunMain方法,最终调用ru 阅读全文
posted @ 2020-09-06 22:22 马晟 阅读(475) 评论(0) 推荐(0) 编辑
摘要: Spark的配置类,通过ConcurrentHashMap来存储配置,泛型为String类型 private val settings = new ConcurrentHashMap[String, String]() Spark配置可以通过3种方式获取: 1.系统默认加载 如果loadDefaul 阅读全文
posted @ 2020-09-04 10:02 马晟 阅读(560) 评论(0) 推荐(0) 编辑
摘要: 1.创建线程 继承Thread类 实现Runnable接口或者Callable接口 通过线程池 public static void main(String[] args) { //创建线程1 new Thread( () -> System.out.println(Thread.currentTh 阅读全文
posted @ 2020-09-02 21:57 马晟 阅读(458) 评论(0) 推荐(0) 编辑
摘要: 1.定义 线程本地的变量副本,属于每个线程独有。每个线程使用ThreadLocal设置自己的值,设置的值之间不受影响,但是使用同一个ThreadLocal对象。所以设置的每个变量,是给每个线程一个独有的变量副本 2.简单使用 public class HelloThreadLocal { priva 阅读全文
posted @ 2020-09-02 21:56 马晟 阅读(144) 评论(0) 推荐(0) 编辑
摘要: 1.基本原理 底层是一个双向链表来维护数据,在JDK1.7之前是一个双向循环链表 2.优缺点 1.优点 插入删除性能好,容量没有限制 可以用作内存队列或栈 2.缺点 随机访问性能差 3.源码分析 1.add()方法 public boolean add(E e) { linkLast(e); ret 阅读全文
posted @ 2020-08-29 19:30 马晟 阅读(127) 评论(0) 推荐(0) 编辑
摘要: 1.基本原理 底层是一个Object[]数组来维护数据 2.优缺点 1.优点 随机访问性能好(底层是数组) 2.缺点 扩容会影响性能 删除和插入元素时,需要进行拷贝影响性能 线程不安全 3.源码分析 1.add()方法 /** * Appends the specified element to t 阅读全文
posted @ 2020-08-29 00:32 马晟 阅读(176) 评论(0) 推荐(0) 编辑
摘要: 跳表 基于链表改造,增加多层索引链表,使得查找结点的平均时间复杂度为O(logn),但是增加了空间复杂度,采用双向链表,每层首尾各有一个空结点,左侧为负无穷大,右侧为正无穷大 查找 从最上层索引开始查找,找到该层中仅小于目标结点的前置索引节点,然后找下一层,一直到找到为止 插入 先找到待插入结点的前 阅读全文
posted @ 2020-08-24 11:04 马晟 阅读(168) 评论(0) 推荐(0) 编辑
摘要: 定义一个函数,输入一个链表的头节点,反转该链表并输出反转后链表的头节点。 示例: 输入: 1->2->3->4->5->NULL 输出: 5->4->3->2->1->NULL 限制: 0 <= 节点个数 <= 5000 方法一:使用栈 public class ListNode { int val 阅读全文
posted @ 2020-08-20 18:07 马晟 阅读(121) 评论(0) 推荐(0) 编辑
摘要: 找出数组中重复的数字。 在一个长度为 n 的数组 nums 里的所有数字都在 0~n-1 的范围内。数组中某些数字是重复的,但不知道有几个数字重复了,也不知道每个数字重复了几次。请找出数组中任意一个重复的数字。 示例 1: 输入: [2, 3, 1, 0, 2, 5, 3] 输出:2 或 3 限制: 阅读全文
posted @ 2020-08-18 17:57 马晟 阅读(90) 评论(0) 推荐(0) 编辑