摘要：
后台和停止kafka服务 注意事项： 生产环境推荐使用-daemon参数后台启动kafka，然后搭配使用nohup和& 如果不想使用kafka-server-stop.sh 关闭一台机器上的所有kafka broker，还可以使用另一种方式，首先jps查看kafka的pid，然后运行ps ax | 阅读全文
摘要：
import org.apache.kafka.clients.consumer.ConsumerRecord; import org.apache.kafka.clients.consumer.ConsumerRecords; import org.apache.kafka.clients.consumer.KafkaConsumer; import java.util.Arrays; imp... 阅读全文
摘要：
prodcer同步发送的机制虽然能保证消息不丢失，但是不推荐生产环境使用，性能很差。一般都是采用异步方式发送消息，把消息先放入缓冲区，然后再由IO线程推送出去，存在消息丢失的风险，而且可能发生乱序。 下面给出Kafka无消息丢失的配置： Producer端配置 block.on.buffer.ful 阅读全文
摘要：
Kafka在生产者中序列化为二进制对象推送给Broker，下面是一个自定义序列化的示例，序列化一个User对象； 首先，引入jackson-mapper-asl 然后定义需要被序列化的实体类： package cn.org.fubin; public class User { private Str 阅读全文
摘要：
实现一个用于审计功能的分区策略：假设我们有两类消息，其中一类消息的key为audit，用于审计，放在最后一个分区中，其他消息在剩下的分区中随机分配。 先创建一个三个分区三个副本的主题audit-test： 然后实现Kafka客户端提供的Partitioner接口： 接下来设定启动类参数： 最后验证： 阅读全文
摘要：
自定义生产者拦截器，完成以下两个功能： eg: 定义时间戳拦截器 自定义统计消息数的拦截器： 主类添加拦截器配置： 运行推送消息程序之前先打开消费者，查看拦截器是否生效： 消息如下： 阅读全文
摘要：
生产者运转流程： 生产者Demo演示 maven构建项目需要引入kafka客户端依赖： 生产者代码 阅读全文
摘要：
测试Topic的创建和删除 测试消息的发送和消费 生产者吞吐量测试 输出：500000 records sent, 196386.488610 records/sec (37.46 MB/sec), 464.37 ms avg latency, 699.00 ms max latency, 563 阅读全文
摘要：
【操作系统选型】 【硬件规划】 【容量规划】 操作系统选型 目前部署最多的三类操作系统为：Linux,OS X和Windows, 其中部署在Linux的最多,Linux也是推荐的操作系统。下面是两个主要原因： IO模型的使用 对于IO模型,Linux下有5种主流的模型：阻塞IO,非阻塞IO,多路复用 阅读全文
摘要：
应付日常的应用功能开发和测试 先安装jdk环境 安装kafka强依赖的zookeeper 编辑conf/zoo.cfg,修改以下关键配置： 启动 ： 安装Kafka 编辑conf/server.properties: 启动： 阅读全文
摘要：
我们把Kafka比作Linux的内核,Confluent就相当于Linux的某个发行版。Confluent提供了Kafka没有的组件和功能，比如完善的跨数据中心数据备份以及集群监控解决方案。 Confluent还分开源版本和企业版本,企业版本中提供了对底层Kafka集群完整的可视化监控解决方案，以及 阅读全文
摘要：
胡夕 - 《Kafka实战》笔记 kafka的设计从四方面进行了考量： 吞吐量/延时 高吞吐量 消息持久化 高可用 负载均衡和故障转移 高可用 伸缩性 高伸缩性 吞吐量和延时 写入消息 kafka写入磁盘的速度很快，得益于他对磁盘的使用方式不同。虽然Kafka会持久化所有数据到磁盘，但本质上每次写入 阅读全文
摘要：
安装和入门 官网地址：http://activemq.apache.org/components/classic/documentation 特性列表 面向消息的中间件(Message-oridented middleware MON) 支持多种语言（Java,C,C++,C#,Ruby,Pytho 阅读全文