摘要：
组合任务概述 一些复杂的任务很难由一个MR处理完成，所以一般需要将其拆分成为多个简单的MR子任务来执行。 MapReduce框架中对于这类的问题提供了几种方式进行任务执行流程的控制，主要包括以下几种方式： 顺序组合式MapReduce任务 前一个执行完，后面再执行 依赖关系组合式MapReduce任 阅读全文
摘要：
本文使用的Hadoop为2.7.7，版本如果不同要下载相应版本的文件 配置本地的Hadoop库（不需完整安装，但是要有环境支持） 下载文件 https://github.com/speedAngel/hadoop2.7.7 解压到任意路径，没有中文字符和空格 把解压包的bin替换到解压路径 把bin 阅读全文
摘要：
重温MR整体流程 工作流程 开始执行输入（InputFormat），先对文件进行分片，然后读取数据输入到Map中。 Mapper读取输入内容，解析成键值对，1行内容解析成1个键值对，每个键值对调用一次map方法。 每个键值对执行map重写的方法，把输入的键值对转换成新的键值对。 多个Mapper的输 阅读全文
摘要：
YARN组件图 Container是YARN框架中对应资源的抽象，封装了运行节点上的资源(内存+CPU) NodeManager负责Container状态的维护，通过心跳，把资源信息（剩余CPU、内存）传递给ResourceManager。 ResourceManager可以根据反馈的心跳决定可以调 阅读全文
摘要：
MR输入格式概述 数据输入格式 InputFormat。 用于描述MR作业的数据输入规范。 输入格式在MR框架中的作用： 文件进行分块(split)，1个块就是1个Mapper任务。 从输入分块中将数据记录逐一读出，并转换为Map的输入键值对。 如果想自定义输入格式，需要实现： 顶级输入格式类：or 阅读全文
摘要：
MapReduce原理 背景 因为如果要对海量数据进行计算，计算机的内存可能会不够。 因此可以把海量数据切割成小块多次计算。 而分布式系统可以把小块分给多态机器并行计算。 MapReduce概述 MapReduce是一种分布式计算模型，由Google提出主要用于搜索领域，解决海量数据的计算问题。 适 阅读全文
摘要：
本文是按照狂神说的教学视频学习的笔记，强力推荐，教学深入浅出一遍就懂！b站搜索狂神说或点击下面链接 https://space.bilibili.com/95256449?spm_id_from=333.788.b_765f7570696e666f.2 整合Mybatis 步骤 导入jar包 jun 阅读全文
摘要：
本文是按照狂神说的教学视频学习的笔记，强力推荐，教学深入浅出一遍就懂！b站搜索狂神说或点击下面链接 https://space.bilibili.com/95256449?spm_id_from=333.788.b_765f7570696e666f.2 AOP 定义： AOP (Aspect Ori 阅读全文
摘要：
本文是按照狂神说的教学视频学习的笔记，强力推荐，教学深入浅出一遍就懂！b站搜索狂神说或点击下面链接 https://space.bilibili.com/95256449?spm_id_from=333.788.b_765f7570696e666f.2 使用注解开发 不在xml文件中配置bean，而 阅读全文
摘要：
Bean的自动装配 自动装配是Spring满足bean依赖的一种方式。 Spring会在上下文中自动寻找，并自动给bean装配属性 Spring中三种装配方式 在xml中显式的配置。 在java中显式的配置 隐式的自动装配bean java中显式的配置 环境搭建 cat package com.rz 阅读全文