摘要: 国内在技术选型中考虑最多的三种。 从延迟看:Storm和Flink原生支持流计算,对每条记录处理,毫秒级延迟,是真正的实时计算,对延迟要求较高的应用建议选择这两种。Spark Streaming的延迟是秒级。 从容错看 :Spark Streaming和Flink都支持最高的exactly-once 阅读全文
posted @ 2020-11-18 15:34 shan_zhayidian 阅读(882) 评论(0) 推荐(1) 编辑
摘要: ack机制,即producer发送消息的确认机制,会影响到kafka的消息吞吐量和安全可靠性,二者不可兼得,只能平均; ack的取值有三个1、0、-1 ack=0,producer只发送一次消息,无论consumer是否收到; ack=-1,producer发送的消息,只有收到分区内所有副本都成功写 阅读全文
posted @ 2020-11-18 15:22 shan_zhayidian 阅读(2917) 评论(0) 推荐(0) 编辑
摘要: kafka常用命令 1、启动kafka服务 nohup bin/kafka-server-start.sh config/server.properties & 2、停止kafka服务 ./kafka-server-stop.sh 3、查看所有的话题 bin/kafka-topics.sh --li 阅读全文
posted @ 2020-11-18 11:39 shan_zhayidian 阅读(120) 评论(0) 推荐(0) 编辑