文章分类 - 消息队列_kafka
摘要：如何保证kafka的高容错性？ producer不使用批量接口，并采用同步模型持久化消息。 consumer不采用批量化，每消费一次就更新offset RabbitMqKafka producer容错，是否会丢数据 有ack模型，也有事务模型，保证至少不会丢数据。ack模型可能会有重复消息，事务模型
阅读全文
摘要：kafka简介与应用场景 Apache Kafka是分布式发布-订阅消息系统，在 kafka官网上对 kafka 的定义：一个分布式发布-订阅消息传递系统。 它最初由LinkedIn公司开发，Linkedin于2010年贡献给了Apache基金会并成为顶级开源项目。Kafka是一种快速、可扩展的、设
阅读全文
摘要：使用Docker部署kafka集群 前言 拉取镜像 创建子网段 Zookeeper集群 Kafka集群 将zookeeper和kafka合并 使用 分别启动各容器 启动两个集群 测试 附录 本文讲解如何使用Docker部署kafka集群; 源代码: https://github.com/Jasonk
阅读全文
摘要：php没有官方的kafka扩展，所以我们需要找到社区版的插件用。 目前有一个比较火的kafka扩展，这个扩展是用C写的，直接通过pecl安装。地址：https://arnaud.le-blanc.net/php-rdkafka-doc/phpdoc/book.rdkafka.html 安装这个插件有
阅读全文
摘要：简介:docker-compose使用配置文件(docker-compose.yml)配置管理多个docker容器，在配置文件中，所有的容器通过service来定义，使用docker-compose启动，停止，重启应用，适合组合使用多容器开发的场景。 1.安装docker-compose 使用cur
阅读全文
摘要：一、下载安装包 kafka-eagle-bin-1.2.4.tar.gz 百度云链接：链接:https://pan.baidu.com/s/1SNIkpsvs20A_Ljtx5PaMuA 密码:o4bi 二、设置全局变量，设置JDK的全局变量JAVA_HOME和本应用的KE_HOME # vim /
阅读全文
摘要：想要搭建kafka集群，必须具备zookeeper集群，关于zookeeper集群的搭建，在Kafka学习之（五）搭建kafka集群之Zookeeper集群搭建博客有说明。需要具备两台以上装有zookeeper的服务器，其次，稳定可靠的kafka版本，本篇使用kafka_2.11-0.9.0.1。
阅读全文
摘要：Zookeeper是一种在分布式系统中被广泛用来作为：分布式状态管理、分布式协调管理、分布式配置管理、和分布式锁服务的集群。kafka增加和减少服务器都会在Zookeeper节点上触发相应的事件kafka系统会捕获这些事件，进行新一轮的负载均衡，客户端也会捕获这些事件来进行新一轮的处理。 Kafka
阅读全文
摘要：简单测试 环境：Centos6.4，PHP7，kafka服务器IP：192.168.9.154，PHP服务器:192.168.9.157 在192.168.9.157创建目录和文件。 //生产者 <?php require './modules/kafka.php'; $rk = new kafka
阅读全文
摘要：Centos版本：Centos6.4，PHP版本：PHP7。 在上一篇文章中使用IP为192.168.9.154的机器安装并开启了Kafka进行了简单测试，充当了Kafka服务器。 本篇文章新开启一台IP为192.16.9.157的机器给PHP开启扩展。 找到github的扩展下载地址，这里是php
阅读全文
摘要：环境：Centos6.4，官方下载地址：http://kafka.apache.org/downloads ，前提是还需要安装了Java环境，本博客http://www.cnblogs.com/wt645631686/p/8267239.html有安装方法 # wget https://archiv
阅读全文
摘要：Kafka是一种高吞吐量的分布式发布订阅消息系统，它可以处理消费者规模小打的网站中所有动作流数据。优势 高吞吐量：非常普通的硬件Kafka也可以支持每秒100W的消息，即使在非常廉价的商用机器上也能做到单机支持每秒100K条消息的传输。 支持通过Kafka服务器和消费机集群来区分消息，也就是可以对消
阅读全文
摘要：优点： 可扩展。Kafka集群可以透明的扩展，增加新的服务器进集群。高性能。Kafka性能远超过传统的ActiveMQ、RabbitMQ等，Kafka支持Batch操作。容错性。Kafka每个Partition数据会复制到几台服务器，当某个Broker失效时，Zookeeper将通知生产者和消费者从
阅读全文
摘要：1 什么是kafka Kafka是分布式发布-订阅消息系统，它最初是由LinkedIn公司开发的，之后成为Apache项目的一部分，Kafka是一个分布式，可划分的，冗余备份的持久性的日志服务，它主要用于处理流式数据。 2 为什么要使用 kafka，为什么要使用消息队列 缓冲和削峰：上游数据时有突发
阅读全文
摘要：Kafka 是一种高吞吐的分布式消息系统，能够替代传统的消息队列用于解耦合数据处理，缓存未处理消息等，同时具有更高的吞吐率，支持分区、多副本、冗余，因此被广泛用于大规模消息数据处理应用。 Kafka的特点： 以时间复杂度为O(1)的方式提供消息持久化能力，即使对TB级以上数据也能保证常数时间复杂度的
阅读全文
