摘要：
为 Flink 量身定制的序列化框架 大家都知道现在大数据生态非常火，大多数技术组件都是运行在 JVM 上的，Flink 也是运行在 JVM 上，基于 JVM 的数据分析引擎都需要将大量的数据存储在内存中，这就不得不面临 JVM 的一些问题，比如 Java 对象存储密度较低等。针对这些问题，最常用的 阅读全文
摘要：
【1】引入第三方 Bahir 提供的 Flink-redis 相关依赖包 1 <!-- https://mvnrepository.com/artifact/org.apache.bahir/flink-connector-redis --> 2 <dependency> 3 <groupId>or 阅读全文
摘要：
Flink On Yarn 模式 基于 Yarn 层面的架构类似 Spark on Yarn 模式，都是由 Client 提交 App 到 RM 上面去运行，然后 RM 分配第一个 container 去运行 AM，然后由 AM 去负责资源的监督和管理。需要说明的是，Flink 的 Yarn 模 阅读全文
摘要：
【1】引入pom.xml 依赖 1 <dependency> 2 <groupId>org.apache.flink</groupId> 3 <artifactId>flink-connector-elasticsearch6_2.12</artifactId> 4 <version>1.10.0< 阅读全文
摘要：
本章重点介绍生产环境中最常用到的 Flink kafka connector。使用 Flink 的同学，一定会很熟悉 kafka，它是一个分布式的、分区的、多副本的、 支持高吞吐的、发布订阅消息系统。生产环境环境中也经常会跟 kafka 进行一些数据的交换，比如利用 kafka consumer 读 阅读全文
摘要：
【1】引入 pom 依赖，我的 Mysql版本为 5.7.19 1 <!-- https://mvnrepository.com/artifact/mysql/mysql-connector-java --> 2 <dependency> 3 <groupId>mysql</groupId> 4 < 阅读全文
摘要：
Flink Streaming Connector Flink 是新一代流批统一的计算引擎，它需要从不同的第三方存储引擎中把数据读过来，进行处理，然后再写出到另外的存储引擎中。Connector 的作用就相当于一个连接器，连接 Flink 计算引擎跟外界存储系统。Flink 里有以下几种方式，当然也 阅读全文
摘要：
Flink 中的时间语义 时间语义：EventTime：事件创建时间；Ingestion Time：数据进入 Flink 的时间；Processing Time：执行操作算子的本地系统时间，与机器无关。不同的时间语义有不同的应用场合，我们往往更关系事件时间(Event Time)。数据生成的时候就 阅读全文
摘要：
更多内容，前往 IT-BLOG 主题操作 使用 kafka-topics.sh 工具可以执行主题的大部分操作。可以用它创建、修改、删除和查看集群里的主题。要使用该工具的全部功能，需要通过 --zookeeper参数提供 Zookeeper的连接字符串。 kafka 的大部分命令行工具直接操作 Zoo 阅读全文
摘要：
优质博文：IT-BLOG-CN 本文从利用率提升、多负载场景优化、稳定性提升、异地多活四个方面介绍了字节跳动在四年来对 Hadoop YARN 进行的一系列的优化，以及生产环境中的实践经验。 YARN 简介 YARN 生态圈 YARN (Yet Another Resource Negotiator 阅读全文
摘要：
Spring Cloud Gateway 作为 Spring Cloud框架的第二代网关，在功能上要比 Zuul更加的强大，性能也更好。随着 Spring Cloud的版本迭代，Spring Cloud官方有打算弃用 Zuul的意思。在笔者调用了 Spring Cloud Gateway的使用和功能 阅读全文
摘要：
更多内容，前往 IT-BLOG 无论 Kafka 作为 MQ 也好，还是作为存储层也罢，无非就是两个功能，一是 Producer 生产的数据存到 Broker，二是 Consumer 从 Broker 读取数据。那 Kafka 的快也就体现在读写两个方面了，下面我们就聊聊 Kafka 快的原因。 一 阅读全文
摘要：
更多内容，前往 IT-BLOG 单个 kafka服务器足以满足本地开发或 POC要求，使用集群的最大好处是可以跨服务器进行负载均衡，再则就是可以使用复制功能来避免因单点故障造成的数据丢失。在维护 Kafka 或底层系统时，使用集群可以确保为客户端提供高可用性。 需要多少个 Broker 一个 k 阅读全文
摘要：
【需求】：使用 fullcalendar日历插件，完成如下功能：可以进行拖动，点击空白处添加，双击后修改和删除等功能。API 链接 一、html 文件中引入相关依赖，主要包括引入的 css和 js； 1 <!DOCTYPE html> 2 <html lang="zh_CN" xmlns:th=" 阅读全文
摘要：
PRC 是一种技术的代名词，HTTP 是一种协议，RPC 可以通过 HTTP 来实现，也可以通过 Socket 自己实现一套协议来实现。所以谈论为什么用 RPC 不用 HTTP 是无意义的。但我们习惯性将两者进行比较，那就有必要将易混点提出来说说。 RPC主要是基于 TCP/IP协议的，而 HTTP 阅读全文
摘要：
计算机是不能直接运行 java代码的，必须要先运行 java虚拟机，再由java虚拟机运行编译后的 java代码。这个编译后的 java代码，就是本文要介绍的java字节码。计算机截止目前只认识0和1，但虚拟机以及大量建立在虚拟机之上的程序语言如雨后春笋般出现并蓬勃发展，将我们编写的程序编译成二进制 阅读全文
摘要：
更多内容，访问 IT-BLOG ThreadLocal 并不是一个Thread，而是 ThreadLocalVariable(线程局部变量)。也许把它命名为 ThreadLocalVar更加合适。线程局部变量就是为每一个使用该变量的线程都提供一个变量值的副本，是 Java中一种较为特殊的线程绑定机制 阅读全文
摘要：
更多内容，前往 IT-BLOG 虚拟机设计团队把类加载阶段中的 “通过一个类的全限定名来获取描述此类的二进制字节流” 这个动作放到 Java虚拟机外部去实现，以便应用程序自己决定如何去获取所需要的类。实现这个动作的代码模块称为“类加载器”。 从 Java 虚拟机的角度上，只存在两种不同的类加载器：一 阅读全文
摘要：
需求：使用 @autowired注入一些对象，但发现不可以直接使用@Autowired，因为方法是static的，要使用该方法当前对象也必须是static，正常情况下@Autowired无法注入静态的bean，于是发现项目中用到了springContextHolder，通过使用 private T 阅读全文
摘要：
在开发中可能会有这样的情景。需要在容器启动的时候执行一些内容。比如读取配置文件，数据库连接之类的。SpringBoot给我们提供了两个接口来帮助我们实现这种需求。这两个接口分别为 CommandLineRunner和 ApplicationRunner。他们的执行时机为容器启动完成的时候。 这两个接 阅读全文