摘要：
Docker简介 百科说：Docker 是一个开源的应用容器引擎，让开发者可以打包他们的应用以及依赖包到一个可移植的容器中，然后发布到任何流行的Linux机器上，也可以实现虚拟化，容器是完全使用沙箱机制，相互之间不会有任何接口。 看起来有点雾，用过虚拟机的应该对虚拟化技术有点印象，不知道也没关系，就 阅读全文
摘要：
CentOS7搭建CDH5.15.0集群 一、节点说明 节点 Server/Agent Memory master Server & agent 4G node1 agent 2G node2 agent 2G 二、安装环境准备 1、基本环境构建 1.1 网络配置和设置主机名 1.1 配置静态IP 阅读全文
摘要：
主要内容： 一致性检查点（checkpoint） 从检查点恢复到状态 Flink检查点算法 保存点（savepoint） 一致性检查点（checkpoint） Flink故障恢复机制的核心，就是应用状态的一致性检查点。有状态流应用的一致性检查点，其实就是所有任务的状态，在某个时间点的一份拷贝（可以理 阅读全文
摘要：
1.6版本 2.0版本 阅读全文
摘要：
链接：https://pan.baidu.com/s/1ogTDFJg3ZZc0CyzaTeswWg 提取码：2k0p 安装 // 将压缩包解压到指定目录 [bigdata@linux backup]$ tar -xf mongodb-linux-x86_64-rhel62-3.4.3.tgz -C 阅读全文
摘要：
Flink中的状态 由一个任务维护，并且用来计算某个结果的所有数据，都属于这个任务的状态；可以认为状态就是一个本地变量，可以被任务的业务逻辑访问；Flink会进行状态管理，包括状态一致性，故障处理以及高效存储和访问，以使开发人员可以专注于应用程序的逻辑。 在Flink中，状态始终与特定算子相关联，为 阅读全文
摘要：
1、小文件过多，会过多占用namenode的内存，并浪费block。 - 文件的元数据（包括文件被分成了哪些blocks，每个block存储在哪些服务器的哪个block块上），都是存储在namenode上的。 HDFS的每个文件、目录、数据块占用150B，因此300M内存情况下，只能存储不超过300 阅读全文
摘要：
我们在生产实践中经常会遇到这样的场景，需把输入源按照需要进行拆分，比如我期望把订单流按照金额大小进行拆分，或者把用户访问日志按照访问者的地理位置进行拆分等。面对这样的需求该如何操作呢？ 大部分的DataStream API的算子的输出时单一输出，也就是某种数据类型的流。除了split算子(使用spl 阅读全文
摘要：
我们之前学习的转换算子是无法访问时间的时间戳信息和水位线信息的。而这些在一些应用场景下，极为重要，例如MapFunction这样的map转换算子就无法访问时间戳或者当前事件的事件时间。 基于此，DataStreamAPI提供了一系列的Low-Level的转换算子，可以访问时间戳、watermark以 阅读全文
摘要：
先看上一节的代码程序 package com.wyh.windowsApi import org.apache.flink.streaming.api.TimeCharacteristic import org.apache.flink.streaming.api.functions.timesta 阅读全文