2017年3月15日
kafka中处理超大消息的一些处理
摘要： Kafka设计的初衷是迅速处理短小的消息，一般10K大小的消息吞吐性能最好（可参见LinkedIn的kafka性能测试）。但有时候，我们需要处理更大的消息，比如XML文档或JSON内容，一个消息差不多有10-100M，这种情况下，Kakfa应该如何处理?针对这个问题，有以下几个建议： 最好的方法是不 阅读全文
posted @ 2017-03-15 22:56 moonandstar08 阅读(6093) 评论(1) 推荐(1) 编辑
Kafka主要配置
摘要： 一、 Broker Config 二、Producer Config 三、Consumer Config 阅读全文
posted @ 2017-03-15 22:50 moonandstar08 阅读(2782) 评论(2) 推荐(0) 编辑
日志收集之--将Kafka数据导入elasticsearch
摘要： 最近需要搭建一套日志监控平台，结合系统本身的特性总结一句话也就是：需要将Kafka中的数据导入到elasticsearch中。那么如何将Kafka中的数据导入到elasticsearch中去呢，总结起来大概有如下几种方式： Kafka->logstash->elasticsearch->kibana 阅读全文
posted @ 2017-03-15 21:55 moonandstar08 阅读(23575) 评论(1) 推荐(1) 编辑