摘要：
Hadoop hadoop1中MapReduce负责计算和任务调度，在hadoop2中将任务调度抽取为Yarn服务 一、Hdfs 1.1 架构 1.1.1 NameNode 存储文件元数据，如：文件名、目录结构、文件属性（生成时间、副本数、权限）以及每个文件的块列表和所在DataNode NameN 阅读全文
摘要：
主板上的组件通过 总线 通信，总线分为 地址总线、控制总线、数据总线，因为不同组件速度不一样，所以将连接快组件的总线合并在一起叫做 北桥（离CPU很近），连接慢组件的总线合并在一起叫做 南桥（离开IO设备近） DMA（Direct Memory Access）负责将数据在IO设备和内存之间传输，完成 阅读全文
摘要：
常用的Java编译器指令流是 基于栈的指令集 另一种指令集是 基于寄存器指令集 JVM运行时环境包含：线程共享的 方法区、堆区 、元数据空间 以及 线程独享的 虚拟机栈、本地方法栈、程序计数器 基于栈指令集（在操作系统上运行的JVM，如：HotSpot） 设计简单，适用于资源受限系统 避开寄存器 阅读全文
摘要：
BIO PushBackInputStream 是一个处理流，它内部维护了一个缓冲数组buf,在读入字节的过程中可以将读取到的字节数据回退给缓冲区中保存，下次可以再次从缓冲区中读出该字节数据。所以 PushBackInputStream 允许多次读取输入流的字节数据，只要将读到的字节放回缓冲区即可。 阅读全文
摘要：
并发 并发访问会产生 可见性、有序性、原子性 的问题，Java中的线程和操作系统的线程是一一对应的关系，可以实现Runnnable接口或者继承Thread类来实现多线程编程，不过一般建议实现Runnable接口来将业务和接口调用分离；PC服务器一般采用抢占式线程调度；手机等小型设备可能采用协作式线程 阅读全文
摘要：
集合 集合分为两大类：Collection和Map，集合进行增加/删除元素的时候会将内部属性modCount进行记数，作用是在iterator进行遍历的时候判断集合内数据是否发生变化 迭代器 iterator.next()会越过下一个元素，并返回越过元素的引用；iterator.remove()会删 阅读全文
摘要：
JAVA基础 java概述 特点： 编译期检查异常 体系中立，生成平台无关字节码。并且及时编译将热点字节序列编译成机器码 可移植性强，字节码面向虚拟机，强类型定义明确，规范中没有“依赖具体实现” 程序=算法+数据结构，面向过程强调如何操作数据，面向对象强点如何组织数据 java基本程序结构 java 阅读全文
摘要：
C++面向过程 一、Hello World #include <iostream>#defind day 7 // 宏常量using namespace std;int main(){ // 常量，无法修改 const int a =10; // 标识符区分大小写 int A = 30; cout< 阅读全文
摘要：
本文以研究和测试功能为主，部署生产环境要参考软件实际版本以及对应部署方法。本文涉及软件：vmware14、jdk8、hadoop2、centos6.8 1.虚拟机配置初始配置1.1：打开虚拟机安装centos6.8，本人分配2G内存、20G硬盘、创建hadoop01用户（自行百度创建Linux用户相 阅读全文
摘要：
Scala中函数是一等公民，可以不依赖对象直接创建函数，Scala将函数式编程和面向对象编程融合在一起。 Scala中将对象属性和对象方法与类属性和类方法进行了分离，Scala中的对象相关属性和方法通过 class 关键字定义在对象域中，而类相关的属性和方法通过 object 关键字定义在 伴生 阅读全文
摘要：
一、Hbase架构 强制写一致（不是最终一致），写比读块，自动分片/合片。 一个RegionServer机器上有多个Region但只有一个HLog，所有Region都往这个HLog中写入数据操作，一个表对应一个或者多个Region（表按行切分为不同Region），每个Region根据列族划分为不同的 阅读全文
摘要：
17.1 锁介绍以及基本类型 多个未提交事务对数据改动，通过锁排队执行，防止 脏写，在事务中修改记录时，先看内存中是否存在相关联的 锁结构 如果没有则创建一个与修改记录相关联的 锁结构 （InnoDB引擎一切操作都是事务） 解决 脏读、不可重复读、幻读 有两种方案： 读操作利用MVCC+写操作加锁： 阅读全文
摘要：
理论上实现事务 隔离性 需要在一个是事务提交后才能执行其他事务，多个事务需要排队执行，但是在MySQL中为了性能考虑，允许事务的并发执行，舍弃了一定的 隔离性 允许事务并行执行后可能会出现以下问题： 脏写：一个事务 修改 了另一个事务未提交的数据并且成功提交（InnoDB通过事务行锁解决） 脏读：一 阅读全文