随笔分类 - kafka
摘要：Apache Kafka是一款流行的分布式数据流平台，它已经广泛地被诸如New Relic(数据智能平台)、Uber、Square(移动支付公司)等大型公司用来构建可扩展的、高吞吐量的、且高可靠的实时数据流系统。例如，在New Relic的生产环境中，Kafka群集每秒能够处理超过1500万条消息，
阅读全文
摘要：Kafka 作为消息中间件，得到越来越广泛的应用。Kafka connect 是一种可扩展、可信赖的工具， 用于Kafka 和其它应用系统之间的数据流动。数据源系统可以通过 connect (source) 把消息放入到 kafka 的 topic 中，其它系统可以通过 connect (sink)
阅读全文
摘要：1. 主要配置 config/server.properties （1） broker.id=0 # 集群中，每个 kafka 实例的值都不一样 （2） log.dirs=/tmp/kafka-logs #日志文件的位置 （3） zookeeper.connect=bigdata3:2181,big
阅读全文
