07 2020 档案
摘要：1. 下载Nifi 下载链接：http://nifi.apache.org/download.html 百度看了两三篇Windows安装nifi的博客，都说Windows要下载zip格式的，由于文件有点大我就没下载，用了公司服务器的比较旧的版本，文件后缀是.tar.gz，实测Win10可用。 2.
阅读全文
摘要：创建一个简单的SpringBoot项目 1. 使用IDEA新建一个Maven项目 2. 在pom.xml添加SpringBoot的相关依赖 <?xml version="1.0" encoding="UTF-8"?> <project xmlns="http://maven.apache.org/P
阅读全文
摘要：7月部门来了校招的新人，我负责指导一位，首先他们要学Oracle，在指导的过程中发现，由于Oracle某些东西几乎没有在实际工作中使用过，已经淡忘了。下面记录一下容易忘记的点。 1. Oracle中客户端的安装 常用的oracle客户端工具有sqldeveloper和PLSQL Developer，
阅读全文
摘要：为了测试Avro Schema的兼容性，新建2个Java project，其中v1代表的是第一个版本， v2代表的是第二个版本。 2个project结构如下 v1的主要代码： pom.xml <?xml version="1.0" encoding="UTF-8"?> <project xmlns=
阅读全文
摘要：Avro Schema Evolution schema evolution不知道中文官方翻译是什么，schema演化？进化？不管了，懂意思就好。本篇文章主要介绍一下Avro Schema进化后的一些兼容性问题。 Schema Evolution有4种： Backward: 向后兼容，用新schem
阅读全文
摘要：为什么需要schema registry？ 首先我们知道: Kafka将字节作为输入并发布 没有数据验证 但是： 如果Producer发送了bad data怎么办？ 如果字段被重命名怎么办? 如果数据类型改变了怎么办？ 这些情况都会导致consumer break 所以： 我们需要数据能够自我描述
阅读全文
摘要：由于每次启动本机的kafka都需要打开2个cmd窗口，分别启动zookeeper服务和kafka服务，操作相对繁琐，于是想起了批处理来帮忙一键启动。 在桌面新建一个txt文件，改后缀名为.bat，并加上下面的代码。 cd/d E:\kafka\kafka_2.11-1.1.0 start cmd /
阅读全文
摘要：原文地址 https://www.cnblogs.com/yizhou35/p/12026263.html 零拷贝就是一种避免CPU 将数据从一块存储拷贝到另外一块存储的技术。 DMA技术是Direct Memory Access的缩写。其意思是“存储器直接访问”。它是指一种高速的数据传输操作，允许
阅读全文
摘要：Agenda Apache Kafka: Core Concepts Kafka Record Topic and partition Segments Replication Factor Producer Consumer Rebalance Consumer Offsets Commit De
阅读全文
