随笔分类 -  kafka

Sharing Kafka knowledge
摘要:1. 问题 比如说我们建了一个 topic,有三个 partition。生产者在写的时候,其实可以指定一个 key,比如说我们指定了某个订单 id 作为 key,那么这个订单相关的数据,一定会被分发到同一个 partition 中去,而且这个 partition 中的数据一定是有顺序的。消费者从 p 阅读全文
posted @ 2020-01-14 16:49 xiaolaotou 阅读(1980) 评论(2) 推荐(0) 编辑
摘要:转载:https://www.iteblog.com/archives/1591.html 当我们正确地部署好Spark Streaming,我们就可以使用Spark Streaming提供的零数据丢失机制。为了体验这个关键的特性,你需要满足以下几个先决条件: 1、输入的数据来自可靠的数据源和可靠的 阅读全文
posted @ 2020-01-03 14:49 xiaolaotou 阅读(824) 评论(0) 推荐(0) 编辑
摘要:Kafka的基本介绍 Kafka是最初由Linkedin公司开发,是一个分布式、分区的、多副本的、多订阅者,基于zookeeper协调的分布式日志系统(也可以当做MQ系统),常见可以用于web/nginx日志、访问日志、消息服务等等。 主要应用场景:日志收集系统和消息系统。 主要设计目标: 1、以时 阅读全文
posted @ 2019-04-08 10:52 xiaolaotou 阅读(593) 评论(0) 推荐(0) 编辑
摘要:一、启动kafka broker时异常 异常: 二、解决方法 进入/mnt/sata1/kafka_2.11-0.10.0.1/bin目录下,修改kafka-server-start.sh文件: 阅读全文
posted @ 2019-03-26 10:28 xiaolaotou 阅读(4989) 评论(0) 推荐(0) 编辑
摘要:伪分布式: 1、先将zk启动,如果是在伪分布式下,kafka已经集成了zk nohup /kafka_2.11-0.10.0.1/bin/zookeeper-server-start.sh /kafka_2.11-0.10.0.1/config/zookeeper.properties & 2、启动 阅读全文
posted @ 2019-02-21 11:10 xiaolaotou 阅读(433) 评论(0) 推荐(0) 编辑

点击右上角即可分享
微信分享提示