随笔分类 - 【吗喽的搬砖日常】 / Kafka
摘要:Kafka是什么?它用于什么场景?答案:Kafka是一个分布式流平台,用于构建实时数据流管道和应用。它主要用于处理和传输大规模的流数据,例如日志、事件和其他类型的数据。Kafka广泛应用于大数据处理、实时流处理、消息队列等领域。 Kafka的主要组件有哪些?它们的作用是什么?答案:Kafka的主要组
阅读全文
摘要:Kafka简介 Kafka原理 Kafka使用 Kafka简介 概念 基于发布/订阅的分布式消息系统 由Linkedin开发,用Scala语言编写 特性 消息持久化:采用时间复杂度O(1)的磁盘存储结构,即使TB级以上数据也能保证常数时间的访问速度 高吞吐:即使在廉价的商用机器上,也能达到单机每秒1
阅读全文
摘要:server.properties #broker的全局唯一编号,不能重复 broker.id=0 #用来监听链接的端口(kafka端口号),producer或consumer将在此端口建立连接 port=9092 #处理网络请求的线程数量 num.network.threads=3 #用来处理磁盘
阅读全文
摘要:Kafka是一个分布式的流处理平台。 kafka主要是作为一个分布式的、可分区的、具有副本数的日志服务系性、高容错性、访问速度快、分布式等特性;具有高水平扩展 主要应用场景是:日志收集系统和分布式发布--订阅消息系统. 一、安装配置 1、选择任一节点上传Kafka的安装包并解压 tar -zxvf
阅读全文