摘要:
国内在技术选型中考虑最多的三种。 从延迟看:Storm和Flink原生支持流计算,对每条记录处理,毫秒级延迟,是真正的实时计算,对延迟要求较高的应用建议选择这两种。Spark Streaming的延迟是秒级。 从容错看 :Spark Streaming和Flink都支持最高的exactly-once 阅读全文
摘要:
ack机制,即producer发送消息的确认机制,会影响到kafka的消息吞吐量和安全可靠性,二者不可兼得,只能平均; ack的取值有三个1、0、-1 ack=0,producer只发送一次消息,无论consumer是否收到; ack=-1,producer发送的消息,只有收到分区内所有副本都成功写 阅读全文
摘要:
kafka常用命令 1、启动kafka服务 nohup bin/kafka-server-start.sh config/server.properties & 2、停止kafka服务 ./kafka-server-stop.sh 3、查看所有的话题 bin/kafka-topics.sh --li 阅读全文