帅气型男

摘要： Avro Schema Evolution schema evolution不知道中文官方翻译是什么，schema演化？进化？不管了，懂意思就好。本篇文章主要介绍一下Avro Schema进化后的一些兼容性问题。 Schema Evolution有4种： Backward: 向后兼容，用新schem 阅读全文

摘要： 为什么需要schema registry？ 首先我们知道: Kafka将字节作为输入并发布 没有数据验证 但是： 如果Producer发送了bad data怎么办？ 如果字段被重命名怎么办? 如果数据类型改变了怎么办？ 这些情况都会导致consumer break 所以： 我们需要数据能够自我描述 阅读全文

摘要： 由于每次启动本机的kafka都需要打开2个cmd窗口，分别启动zookeeper服务和kafka服务，操作相对繁琐，于是想起了批处理来帮忙一键启动。 在桌面新建一个txt文件，改后缀名为.bat，并加上下面的代码。 cd/d E:\kafka\kafka_2.11-1.1.0 start cmd / 阅读全文

摘要： 原文地址 https://www.cnblogs.com/yizhou35/p/12026263.html 零拷贝就是一种避免CPU 将数据从一块存储拷贝到另外一块存储的技术。 DMA技术是Direct Memory Access的缩写。其意思是“存储器直接访问”。它是指一种高速的数据传输操作，允许 阅读全文

摘要： Agenda Apache Kafka: Core Concepts Kafka Record Topic and partition Segments Replication Factor Producer Consumer Rebalance Consumer Offsets Commit De 阅读全文

摘要： Kafka Producer配置 acks String，默认是acks=1 生产者需要leader确认请求完成之前接收的应答数。 acks=0 如果设置为0，那么生产者将不等待任何消息确认。消息将立刻添加到socket缓冲区并考虑发送。在这种情况下不能保障消息被服务器接收到。并且重试机制不会生效（ 阅读全文

摘要： Producer配置和Consumer配置可以到kafka官网看中文文档，网址是 http://kafka.apachecn.org/ JAVA生产者的配置： http://kafka.apachecn.org/documentation.html#producerconfigs JAVA消费者的配 阅读全文

摘要： Maven pom.xml <?xml version="1.0" encoding="UTF-8"?> <project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-in 阅读全文

摘要： 为了在本机跑，先将kafka的 bootstrap.servers 设为 localhost:9092 将Sub端的DB改成test DB 在本地路径放需要抛的xml文件（写个简单的xml测试） 以下是步骤: 1. 打开flow，发资料到queue 下面的xml描述了要抛到kafka的topic名称 阅读全文

摘要： 运行程序时控制台出现3行红色的字，虽然不影响运行，但是一般来说红色字体就是有错误，看起来让人不爽，于是上网找解决方法。 错误原因是少了slf4j-nop.jar slf4j-simple.jar， slf4j-log4j12.jar，slf4j-jdk14.jar或 logback-classic. 阅读全文