摘要： InputFormat数据输入 1.切片与mapTask并行度决定机制 1.1 问题引出 MapTask的并行度决map阶段的任务处理并发度，进而影响到整个Job的处理速度； 1G的数据，启动八个MapTask，可以提高集群的并发处理能力，那么IK的数据，也启动八个MapTask，会提高集群的性能吗 阅读全文

摘要： 1.序列化概述 1.1 什么是序列化 序列化就是把内存中的对象，转换成字节序列（或其他数据传输协议）以便于存储到磁盘（持久化）和网络传输； 反序列化就是将收到字节序列（或其他数据传输协议）或者是磁盘的持久化数据，转换成内存中的对象； 1.2 为什么要序列化 一般来说，“活的”对象只生存在内存中，关机 阅读全文

摘要： 1.导入依赖 <dependencies> <dependency> <groupId>junit</groupId> <artifactId>junit</artifactId> <version>4.11</version> <scope>test</scope> </dependency> < 阅读全文

摘要： 1.MapReduce定义 MapReduce是一个分布式运算程序的编程框架，是用户开发基于hadoop的数据分析应用的核心框架； MapReduce核心功能是将用户编写的业务逻辑代码和自带默认组件整合成一个完整的分布式运算程序，并发运行在一个hadoop集群上； 2.MapReduce优缺点 2. 阅读全文

摘要： 工作流 工作流介绍 工作流就是通过计算机对业务流程自动化执行管理；它主要解决的是“使用多个参与者之间按照某种预定义的规则自动进行传递文档，信息或任务的过程，从而实现某个预期的业务目标，或者促使此目标的实现”； 工作流实现方式 在没有专门的工作流引擎之前，我们之前为了实现流程控制，通常的做法就是采用状 阅读全文

摘要： 1.进程和线程还有协程之间的关系 进程：运行起来的程序。进程需要占用系统资源（内存，CPU）。进程是最小的系统资源分配单位，只是给线程提供执行环境。 由于一个进程产生一个进程地址空间，且进程地址空间相互独立，一个进程死亡，其他进程不会受到影响。 线程：LWP（light weight process 阅读全文

摘要： 简介 从JDK1.5，java使用新的JSR-133内存模型；JSR-133使用happens-before的概念来阐述操作之间的内存可见性；在JMM中，如果一个操作执行的结果需要对另一个操作可见，那么者两个操作之间必须要存在happens-before关系；这里两个操作可以是在一个线程之内，也可以 阅读全文

摘要： 什么是指令重排序 java语言规范JVM线程内部维持顺序化语义，即只要程序的最终结果与它顺序化情况的结果相等，那么指令的执行顺序可以与代码逻辑不一致，这个过程就叫做执行重排序； 在执行程序时，为了提高性能，编译器和处理器常常会对指令做重排序，重排序分为三种类型： 1.编译器优化的重排序：编译器在不改 阅读全文

摘要： volatile的应用 在多线程并发程序中synchronized和volatile都扮演者着很重要的角色，volatile是轻量级的synchronized，它在多处理器开发中保证了共享变量的可见性，能够防止脏读，被volatile关键字修饰的变量，如果值发生了改变，其他线程立刻可见； 可见性的意 阅读全文

摘要： 1.java内存模型：JMM 在内存模型当中定义一个主内存，所有声明的实例变量都存在于主内存当中，主内存的数据会共享给所有线程，每一个线程有一个块工作内存，工作内存当中主内存数据的副本当更新数据时，会将工作内存中的数据同步到主内存当中； 2.什么是CAS CAS：Compare and Swap，即 阅读全文