随笔分类 - Kafka
摘要：存储介质不同 redis queue数据是存储在内存，虽然有AOF和RDB的持久化方式，但是还是以内存为主。kafka是存储在硬盘上 性能不同 因为存储介质不同，理论上redis queue的性能要优于kafka，但是在实际使用过程，这块体验并不是很明显，通常只有一些高并发场景下需要用redis q
阅读全文
摘要：参照我之前的一篇博文Kafka学习之（二）Centos下安装Kafka安装了kafka并启动，状况并不像我之前最初的预期，报错了，并且我在当前Linux环境下安装的Java版本、Kafka版本都是和之前博文一样的，第一感觉难道是因为Linux(Centos)的版本不一致？？？ 抛开猜测，直接百度 E
阅读全文
摘要：一、下载安装包 kafka-eagle-bin-1.2.4.tar.gz 二、设置全局变量，设置JDK的全局变量JAVA_HOME和本应用的KE_HOME 三、进入conf目录修改配置文件 system-config.properties 四、启动 五、登录访问 浏览器访问：http://172.1
阅读全文
摘要：想要搭建kafka集群，必须具备zookeeper集群，关于zookeeper集群的搭建，在Kafka学习之（五）搭建kafka集群之Zookeeper集群搭建博客有说明。需要具备两台以上装有zookeeper的服务器，其次，稳定可靠的kafka版本，本篇使用kafka_2.11-0.9.0.1。
阅读全文
摘要：Zookeeper是一种在分布式系统中被广泛用来作为：分布式状态管理、分布式协调管理、分布式配置管理、和分布式锁服务的集群。kafka增加和减少服务器都会在Zookeeper节点上触发相应的事件kafka系统会捕获这些事件，进行新一轮的负载均衡，客户端也会捕获这些事件来进行新一轮的处理。 Kafka
阅读全文
摘要：问题一：用kafka命令发送消息时候，一直报WARN Error while fetching metadata with correlation id 0 : {test=UNKNOWN_TOPIC_OR_PARTITION}？ 原因：由于主题没创建导致的，生成是禁止自动创建的。 原文地址：htt
阅读全文
摘要：简单测试 环境：Centos6.4，PHP7，kafka服务器IP：192.168.9.154，PHP服务器:192.168.9.157 在192.168.9.157创建目录和文件。 记住消费者PHP文件要在终端运行:php consumer.php。 这里就不测试了。 工作代码
阅读全文
摘要：Centos版本：Centos6.4，PHP版本：PHP7。 在上一篇文章中使用IP为192.168.9.154的机器安装并开启了Kafka进行了简单测试，充当了Kafka服务器。 本篇文章新开启一台IP为192.16.9.157的机器给PHP开启扩展。 找到github的扩展下载地址，这里是php
阅读全文
摘要：环境：Centos6.4，官方下载地址：http://kafka.apache.org/downloads ，前提是还需要安装了Java环境，本博客http://www.cnblogs.com/wt645631686/p/8267239.html有安装方法 记住先启动zookeeper，再启动kaf
阅读全文
摘要：Kafka是一种高吞吐量的分布式发布订阅消息系统，它可以处理消费者规模小打的网站中所有动作流数据。优势 高吞吐量：非常普通的硬件Kafka也可以支持每秒100W的消息，即使在非常廉价的商用机器上也能做到单机支持每秒100K条消息的传输。 支持通过Kafka服务器和消费机集群来区分消息，也就是可以对消
阅读全文
摘要：相关概念消息队列中间件是分布式系统中重要的组件，主要解决应用耦合，异步消息，流量削峰等问题。实现高性能，高可用，可伸缩和最终一致性架构，是大型分布式系统不可缺少的中间件。流量如果非常之巨大，消息队列必不可少的。使用场景 异步处理 场景说明：当用户注册成功后，发送注册邮件，发完邮件然后发送注册短信。传
阅读全文
