04 2020 档案
摘要：环境搭建 node-2做以下步骤 安装包下载 http://kafka.apache.org/downloads https://www.scala-lang.org/download/2.12.11.html 上传后解压文件 #要先创建目录 [root@node-2 ins]# tar -zxvf
阅读全文
摘要：简介 Kafka是一个分布式流平台（消息系统）。 Kafka用于流处理，网站活动跟踪，指标收集和监视，日志聚合，实时分析，CEP，将数据导入Spark，将数据导入Hadoop，CQRS，重播消息，错误恢复和保证分布式 提交用于内存计算（微服务）的日志。 Kafka is used for real-
阅读全文
摘要：背景 N台服务器对同一个文件进行修改，这个时候要给这个文件加锁。 使用zk的结点名字唯一而且临时结点会话结束会清理的特性实现锁。 原理流程 Lock package com.rzp.service; import java.io.Closeable; import java.io.IOExcep
阅读全文
摘要：Zookeeper Java API简介 Zookeeper提供了Java API方便我们来操作zk服务。 通过org.apache.zookeeper.Zookeeper类创建连接zk服务器的示例对象 在创建过程中给定zk服务器地址、会话持续时间以及监视器三个参数 当连接创建成功后，通过Zooke
阅读全文
摘要：环境搭建 Zookeeper的安装依赖JDK1.7以上环境 使用版本：3.6 部署计划： node-1部署1个；node-2部署2个 node-1 #创建ins目录，上传到该目录 [root@node-1 usr]# mkdir ins #创建zook目录， [root@node-1 usr]# m
阅读全文
摘要：简介 Zookeeper Zookeeper其实就是一个应用在分布式系统上的管理系统，比如要修改一个分布式系统的配置，我们必须要手动一个个系统去修改，非常麻烦，而这个软件就是提供了同步自动修改的功能：Zookeeper可以帮助实现配置维护、命名管理、分布式同步、组服务等功能 是Google的Chub
阅读全文
摘要：多数据源 定义：在一个MR任务中可能需要访问和处理两个甚至更多个的数据集。Hadoop由于没有像关系型数据库那样join的连接处理操作，所以多数据源的连接处理会比较复杂，需要程序员自己实现。 Map端数据连接 Reduce端数据连接 总共包含了四种小的连接方式。 Map端数据连接(map side
阅读全文
摘要：0.JVM JVM(Java Virtual Machine)，Java虚拟机，Java可以在任何平台运行的核心，无论在任何平台上，Java都会模拟一个虚拟机，所有Java程序都在JVM上运行。 1.JVM的位置 JVM可以运行在任何操作系统上，只要安装了JRE就可以了。 而我们的Java程序就是运
阅读全文
摘要：本文是按照狂神说的教学视频学习的笔记，强力推荐，教学深入浅出一遍就懂！b站搜索狂神说或点击下面链接 https://space.bilibili.com/95256449?spm_id_from=333.788.b_765f7570696e666f.2 源码已上传github：https://git
阅读全文
摘要：本文是按照狂神说的教学视频学习的笔记，强力推荐，教学深入浅出一遍就懂！b站搜索狂神说或点击下面链接 https://space.bilibili.com/95256449?spm_id_from=333.788.b_765f7570696e666f.2 JSON JSON(JavaScript Ob
阅读全文
摘要：本文是按照狂神说的教学视频学习的笔记，强力推荐，教学深入浅出一遍就懂！b站搜索狂神说或点击下面链接 https://space.bilibili.com/95256449?spm_id_from=333.788.b_765f7570696e666f.2 处理前端提交的数据 1.前文中有第一种方式，就
阅读全文
摘要：本文是按照狂神说的教学视频学习的笔记，强力推荐，教学深入浅出一遍就懂！b站搜索狂神说或点击下面链接 https://space.bilibili.com/95256449?spm_id_from=333.788.b_765f7570696e666f.2 转发和重定向 1.如果使用配置xml的方式，我
阅读全文
摘要：本文是按照狂神说的教学视频学习的笔记，强力推荐，教学深入浅出一遍就懂！b站搜索狂神说或点击下面链接 https://space.bilibili.com/95256449?spm_id_from=333.788.b_765f7570696e666f.2 使用注解开发 结构和前一篇是一样的 web.x
阅读全文
摘要：本文是按照狂神说的教学视频学习的笔记，强力推荐，教学深入浅出一遍就懂！b站搜索狂神说或点击下面链接 https://space.bilibili.com/95256449?spm_id_from=333.788.b_765f7570696e666f.2 SpringMVC SpringMVC重点 执
阅读全文
摘要：组合任务概述 一些复杂的任务很难由一个MR处理完成，所以一般需要将其拆分成为多个简单的MR子任务来执行。 MapReduce框架中对于这类的问题提供了几种方式进行任务执行流程的控制，主要包括以下几种方式： 顺序组合式MapReduce任务 前一个执行完，后面再执行 依赖关系组合式MapReduce任
阅读全文
摘要：本文使用的Hadoop为2.7.7，版本如果不同要下载相应版本的文件 配置本地的Hadoop库（不需完整安装，但是要有环境支持） 下载文件 https://github.com/speedAngel/hadoop2.7.7 解压到任意路径，没有中文字符和空格 把解压包的bin替换到解压路径 把bin
阅读全文
摘要：重温MR整体流程 工作流程 开始执行输入（InputFormat），先对文件进行分片，然后读取数据输入到Map中。 Mapper读取输入内容，解析成键值对，1行内容解析成1个键值对，每个键值对调用一次map方法。 每个键值对执行map重写的方法，把输入的键值对转换成新的键值对。 多个Mapper的输
阅读全文
摘要：YARN组件图 Container是YARN框架中对应资源的抽象，封装了运行节点上的资源(内存+CPU) NodeManager负责Container状态的维护，通过心跳，把资源信息（剩余CPU、内存）传递给ResourceManager。 ResourceManager可以根据反馈的心跳决定可以调
阅读全文
摘要：MR输入格式概述 数据输入格式 InputFormat。 用于描述MR作业的数据输入规范。 输入格式在MR框架中的作用： 文件进行分块(split)，1个块就是1个Mapper任务。 从输入分块中将数据记录逐一读出，并转换为Map的输入键值对。 如果想自定义输入格式，需要实现： 顶级输入格式类：or
阅读全文
摘要：MapReduce原理 背景 因为如果要对海量数据进行计算，计算机的内存可能会不够。 因此可以把海量数据切割成小块多次计算。 而分布式系统可以把小块分给多态机器并行计算。 MapReduce概述 MapReduce是一种分布式计算模型，由Google提出主要用于搜索领域，解决海量数据的计算问题。 适
阅读全文
摘要：本文是按照狂神说的教学视频学习的笔记，强力推荐，教学深入浅出一遍就懂！b站搜索狂神说或点击下面链接 https://space.bilibili.com/95256449?spm_id_from=333.788.b_765f7570696e666f.2 整合Mybatis 步骤 导入jar包 jun
阅读全文
摘要：本文是按照狂神说的教学视频学习的笔记，强力推荐，教学深入浅出一遍就懂！b站搜索狂神说或点击下面链接 https://space.bilibili.com/95256449?spm_id_from=333.788.b_765f7570696e666f.2 AOP 定义： AOP (Aspect Ori
阅读全文
摘要：本文是按照狂神说的教学视频学习的笔记，强力推荐，教学深入浅出一遍就懂！b站搜索狂神说或点击下面链接 https://space.bilibili.com/95256449?spm_id_from=333.788.b_765f7570696e666f.2 使用注解开发 不在xml文件中配置bean，而
阅读全文
摘要：Bean的自动装配 自动装配是Spring满足bean依赖的一种方式。 Spring会在上下文中自动寻找，并自动给bean装配属性 Spring中三种装配方式 在xml中显式的配置。 在java中显式的配置 隐式的自动装配bean java中显式的配置 环境搭建 cat package com.rz
阅读全文
摘要：依赖注入 1.构造器注入 见spring简介最后一大点。 2.Set方式注入 依赖注入：Set注入 依赖：bean对象的创建依赖于容器。 注入：bean对象的所有属性，由容器注入。 bean ，里面属性的注入见下文xml package com.rzp.pojo; import java.uti
阅读全文
摘要：本文是按照狂神说的教学视频学习的笔记，强力推荐，教学深入浅出一遍就懂！b站搜索狂神说或点击下面链接 https://space.bilibili.com/95256449?spm_id_from=333.788.b_765f7570696e666f.2 Spring简介 Spring是一个轻量级控制
阅读全文