摘要：
一、 Py4j官网：https://www.py4j.org/，介绍大家可以到官网进行了解。 二、 本次介绍的是通过java调用python的函数，以及python的返回值给到java。 三、 演示： java代码 import py4j.GatewayServer;import java.net. 阅读全文
摘要：
flinkapi层次结构图 其中，flinksql处于flink最高层的api，相当于api来讲，用法更易理解，但是没有api灵活些，下面简单介绍下flinksql的简单应用。 flinksql样例 备注：使用的是1.13.0版本 消费kafka CREATE TABLE bg_action ( b 阅读全文
摘要：
概述 本文主要是基于flink不同版本之间的checkpoint机制进行阐述，主要是对比1.11之后和之前的差异，使得可以针对不同的场景使用不同的checkpoint方式。 什么是checkpoint checkpoint是flink中的一种容错机制，使得任务失败的时候可以进行重启而不丢失之前的一些 阅读全文
摘要：
HBase基本概念 table：一个表包含多行数据 row：行，一行数据包含一个唯一标识rowkey，多个column以及对应的值。在HBase中，一张表中所有的row都按照rowkey的字典序由小到大排序。 column：列，由HBase中的column family（列簇）和qualifier（ 阅读全文
摘要：
跳台阶https://www.nowcoder.com/profile/659420256/codeBookDetail?submissionId=92424945 public class Solution {public int JumpFloor(int target) {if (target 阅读全文
摘要：
综述 本文主要介绍Flink Runtime的作业执行的核心机制。首先介绍Flink Runtime的整理架构以及Job的基本执行流程，然后介绍在这个过程中，Flink是怎么进行资源管理及作业调度。 Flink Runtime整体架构 Flink 的整体架构如图 1 所示。Flink 是可以运行在多 阅读全文
摘要：
第一章：初识kafka （1）kafka提供了一个MirrorMaker的工具，可以实现kakfa集群之间的消息复制，其内部包含了一个生产者和消费者，两者之间通过队列相连。 第三章：kafka生产者 (1) kafka 写入的时候会创建ProducerRecord对象，其包含主题，分区，键，值信息。 阅读全文
摘要：
phoenix的安装 下载phoenix：http://www.apache.org/dyn/closer.lua/phoenix/apache-phoenix-4.15.0-HBase-1.3/bin/apache-phoenix-4.15.0-HBase-1.3-bin.tar.gz 在HBas 阅读全文
摘要：
安装flask插件 非anaconda的python解释器安装：pip install flask anaconda的python解释器：conda install flask 新建Flask项目 使用python编译器，例如pycharm创建一个新的flask项目，等待创建完成，之后会出现如下项目 阅读全文
摘要：
一：流处理的基本概念 流处理系统本身有很多自己的特点。一般来说，由于需要支持无限数据集的处理，流处理系统一般采用一种数据驱动的处理方式。它会提前设置一些算子，然后等到数据到达后对数据进行处理。 为了表达复杂的逻辑，flink在内的分布式流处理引擎，一般采用 DAG 图来表示整个计算逻辑，其中 DAG 阅读全文