三秋叶

摘要： 首先，整体的UML架构图如下： 1、强引用（默认支持模式） 当内存不足时，JVM开始进行GC(垃圾回收)， 对于强引用对象，就算是出现了OOM也不会对该对象进行回收，死都不会收。 强引用是我们最常见的普通对象引用，只要还要强引用指向一个对象，就表明这个对象还活着，垃圾收集器不会碰这种对象。在java 阅读全文

摘要： 线程池中的工作线程是如何实现线程复用的？ 一个线程一般在执行完任务后就结束了，怎么再让他执行下一个任务呢？ 当我们往线程池添加任务的时候使用 ThreadPollExcutor 对象的 execute(Runnable command) 方法来完成的。那我们就来看一下这个逻辑部分的代码： 分析到这里 阅读全文

摘要： 1、线程池简介 1.1 线程池的概念： 线程池就是首先创建一些线程，它们的集合称为线程池。使用线程池可以很好地提高性能，线程池在系统启动时即创建大量空闲的线程，程序将一个任务传给线程池，线程池就会启动一条线程来执行这个任务，执行结束以后，该线程并不会死亡，而是再次返回线程池中成为空闲状态，等待执行下 阅读全文

摘要： 本文转载自17coding ,于2019年05月22日由 " 苏静 " 发布. 一、Thread与Runable 1、创建线程的两种方法 在java中你怎么创建线程？相信你很快能够想到继承Thread类和实现Runable接口这两种方式。没错，java提供了这两种方式来创建新的线程。网上也有各种文章 阅读全文

摘要： 是不是， 每个人年轻的时候， 都有这样一段日子， 鸿鹄志高却难遂， 迷茫的过着，浑浑噩噩得耗。 最终不是泯然众人， 就是找不到出口，被生活围困。 这时候，家人、朋友， 看在眼里，哪怕不说， 心里想的也是： "小镇青年何必心怀远方" 这样的想法吧。 阅读全文

摘要： 写在前边：今天是1月11日，放假的第13天，图书馆已经没人了，学校里的人也越来越少，淅沥的小雨挡不住众学子回家的脚步。昨晚，异乡遇故知，聊了一通有的没的。看到彼此变了很多，庆幸也保留了很多。此去经年，愿故人前途坦荡。自从上了大学之后，慢慢脱离了交际，不想与人交流，仿佛一只自缚的茧。可这也给我留下独立 阅读全文

摘要： 1、Yarn运行模式介绍 Yarn运行模式就是说Spark客户端直接连接Yarn，不需要额外构建Spark集群。如果Yarn是分布式部署的，那么Spark就跟随它形成了分布式部署的效果。有 yarn client 和 yarn cluste r两种模式，主要区别在于： Driver程序的运行节点。 阅读全文

摘要： 上篇笔记记录了Local模式的一些内容，但是实际的应用中很少有使用Local模式的，只是为了我们方便学习和测试。真实的生产环境中，Standalone模式更加合适一点。 1、基础概述 Standalone不是单机模式，它是集群，但是是基于Spark独立调度器的集群，也就是说它是Spark特有的运行模 阅读全文

摘要： Spark 的运行模式有 Local(也称单节点模式），Standalone(集群模式），Spark on Yarn(运行在Yarn上），Mesos以及K8s等常用模式，本文介绍第一种模式。 1、Local模式 Local模式就是运行在一台计算机上的模式， 也称单节点模式 。Local 模式是最简单 阅读全文

摘要： 本篇笔记主要说一下Spark到底是个什么东西，了解一下它的基本组成部分，了解一下基本的概念，为之后的学习做铺垫。过于细节的东西并不深究。在实际的操作过程中，才能够更加深刻的理解其内涵。 1、什么是Spark？ Spark是由美国加州伯克利大学的AMP实验室开发的，一款基于 内存 计算的大数据 并行计 阅读全文