随笔分类 -  【吗喽的搬砖日常】 / Kafka

摘要:Kafka是什么?它用于什么场景?答案:Kafka是一个分布式流平台,用于构建实时数据流管道和应用。它主要用于处理和传输大规模的流数据,例如日志、事件和其他类型的数据。Kafka广泛应用于大数据处理、实时流处理、消息队列等领域。 Kafka的主要组件有哪些?它们的作用是什么?答案:Kafka的主要组 阅读全文
posted @ 2024-01-11 22:07 HOUHUILIN 阅读(22) 评论(0) 推荐(0) 编辑
摘要:Kafka简介 Kafka原理 Kafka使用 Kafka简介 概念 基于发布/订阅的分布式消息系统 由Linkedin开发,用Scala语言编写 特性 消息持久化:采用时间复杂度O(1)的磁盘存储结构,即使TB级以上数据也能保证常数时间的访问速度 高吞吐:即使在廉价的商用机器上,也能达到单机每秒1 阅读全文
posted @ 2023-10-19 00:38 HOUHUILIN 阅读(13) 评论(0) 推荐(0) 编辑
摘要:server.properties #broker的全局唯一编号,不能重复 broker.id=0 #用来监听链接的端口(kafka端口号),producer或consumer将在此端口建立连接 port=9092 #处理网络请求的线程数量 num.network.threads=3 #用来处理磁盘 阅读全文
posted @ 2023-05-19 15:58 HOUHUILIN 阅读(258) 评论(0) 推荐(0) 编辑
摘要:Kafka是一个分布式的流处理平台。 kafka主要是作为一个分布式的、可分区的、具有副本数的日志服务系性、高容错性、访问速度快、分布式等特性;具有高水平扩展 主要应用场景是:日志收集系统和分布式发布--订阅消息系统. 一、安装配置 1、选择任一节点上传Kafka的安装包并解压 tar -zxvf 阅读全文
posted @ 2023-05-19 15:56 HOUHUILIN 阅读(384) 评论(0) 推荐(0) 编辑

点击右上角即可分享
微信分享提示