摘要：
项目介绍：采用restful api进行接口规范 / 项目框架SpringBoot+mybatis Plus / 采用mysql进行数据存储 / 采用swaggerUI进行前后端业务分离式开发。 开发环境：JDK1.8+Mysql8.0.12+IDEAL 实现功能：springboot搭建整体框架， 阅读全文
摘要：
java并发的一系列框架和技术主要是由java.util.concurrent 包所提供。包下的所有类可以分为如下几大类： locks部分：显式锁(互斥锁和速写锁)相关； atomic部分：原子变量类相关，是构建非阻塞算法的基础； executor部分：线程池相关； collections部分：并发 阅读全文
摘要：
tomat是一个servlet容器，来处理http请求。在平时的使用中我们都会再浏览器中输入http地址来访问服务资源，比如格式http://host[":"port][abs_path]。从浏览器到服务端的一次请求都遵循http协议，在网络上其实走仍然是tcp协议，即我们常使用的socket来处理 阅读全文
摘要：
一、线程基本状态 新建：线程已创建但start()方法还没执行 就绪(可运行)：start()方法已运行，但还没被选择 运行：从就绪线程中选择出某一个线程进行run()操作 阻塞(不可运行)：线程正在运行，但是由于某种原因(wait()，sleep()，join()，IO请求，获取别的对象锁)该线程 阅读全文
摘要：
1、Shuffle [从mapTask到reduceTask: Mapper -> Partitioner ->Combiner -> Sort ->Reducer] mapper对job任务进行键值对构建并写入环形内存缓冲区[缓冲区满了，map停止直到全写入磁盘]，大小100MB(io.sort. 阅读全文
摘要：
相关详细说明：https://www.csdn.net/article/2015-07-10/2825184 RDD：弹性分布式数据集。 Operation：Transformation 和Action，一个返回RDD，一个返回值。 Lineage：RDD之间的依赖关系，如何演变过来。 Partit 阅读全文
摘要：
大规模结构化集群存储数据库。Table中的所有行都按照row key的字典序排列。 主键：row Key。访问行只能通过rowKey访问(范围或者准确值)，或者全表扫描； 列族：cloumn family。hbase表中的每个列，都归属与某个列族。列族是表的schema的一部分(而列不是)，必须在使 阅读全文
摘要：
Hadoop的分布式协同服务，让分布式系统碰到失败时候，能够正确处理此类问题。基础功能：master选举，数据同步。Zooleeper集群有Client和Server(leader和follower)，且台数为奇数。若半数以上完好，则能够提供服务。。 Client和Server(leader和fol 阅读全文
摘要：
HDFS：分布式文件系统，运行文件通过网络在多台主机分享的文件系统，分块写入(128M)，适用于一次写入多次查询，不支持并发写(只能一块一块写)，小文件不合适。 nameNode(主节点，单个): 保存HDFS的元数据信息(命名空间信息、文件系统的目录树、文件和block关系即文件对应block列表 阅读全文
摘要：
YARN(Yet Another Resource Negotiator): 是一种新的 Hadoop 资源管理器 [ResourceManager：纯粹的调度器，基于应用程序对资源的需求进行调度的，不对应用进行监控和状态跟踪。ResourceManager中有一个模块叫做ApplicationsM 阅读全文