摘要: 删除Kafka集群中的数据:【1】第一步:删除Kafka中的数据 ./kafka-topic --zookeeper node3:2181,node4:2181,node5:2181 --delect --topic t0404 查看集群topic 会显示已标记删除,如果不管,一周之后自动删除【2】 阅读全文
posted @ 2018-07-22 12:42 十指演绎悲伤 阅读(5059) 评论(0) 推荐(0) 编辑
摘要: 条件:node01 node02 node03 【1】上传压缩包到node01【2】解压压缩包 tar zxvf kafka_2.10-0.8.2.2.tgz 【3】移动解压后的包到/opt/sxt下 mv kafka_2.10-0.8.2.2 /opt/sxt/【4】修改配置 vi /opt/sx 阅读全文
posted @ 2018-07-22 12:41 十指演绎悲伤 阅读(142) 评论(0) 推荐(0) 编辑
摘要: Kafka架构组成:由producer(消息生产者)、consumer(消息消费者)、borker(kafka集群的server,负责处理消息读、写请求,存储消息,在kafka cluster这一层这里,其实里面是有很多个broker)、topic(消息队列/分类相当于队列,里面有生产者和消费者模型 阅读全文
posted @ 2018-07-22 12:40 十指演绎悲伤 阅读(1538) 评论(0) 推荐(0) 编辑
摘要: 阅读全文
posted @ 2018-07-22 12:37 十指演绎悲伤 阅读(182) 评论(0) 推荐(0) 编辑
摘要: 1. kafka的特点Ø 系统的特点:生产者消费者模型,FIFOPartition内部是FIFO的,partition之间呢不是FIFO的,当然我们可以把topic设为一个partition,这样就是严格的FIFO。Ø 高性能:单节点支持上千个客户端,百MB/s吞吐,接近网卡的极限Ø 持久性:消息直 阅读全文
posted @ 2018-07-22 12:32 十指演绎悲伤 阅读(979) 评论(0) 推荐(0) 编辑
摘要: 一,kafka是什么? kafka是一个高吞吐的分布式消息队列系统。二,特点: 是生产者消费者模式,先进先出(FIFO)保证顺序,自己不丢数据,默认每隔7天清理数据。三,消息列队常见场景: 系统之间解耦合、 峰值压力缓冲、 异步通信。四,Spark Streaming + kafka优点: 解耦 缓 阅读全文
posted @ 2018-07-22 12:32 十指演绎悲伤 阅读(106) 评论(0) 推荐(0) 编辑
摘要: 阅读全文
posted @ 2018-06-14 20:58 十指演绎悲伤 阅读(142) 评论(0) 推荐(0) 编辑