摘要：
最近在做集中式日志，将应用的日志保存到Elasticsearch中，结合kibana实现集中化日志监控和报警。在设计ES存储的时候。考虑到日志的特殊性，打算采用Daily Indices方式。名称为：log-${application}-YYYY.MM.DD。每天会自动创建一个新的索引，类似于log 阅读全文
摘要：
Kafka设计的初衷是迅速处理短小的消息，一般10K大小的消息吞吐性能最好（可参见LinkedIn的kafka性能测试）。但有时候，我们需要处理更大的消息，比如XML文档或JSON内容，一个消息差不多有10-100M，这种情况下，Kakfa应该如何处理?针对这个问题，有以下几个建议： 最好的方法是不 阅读全文
摘要：
一、 Broker Config 二、Producer Config 三、Consumer Config 阅读全文
摘要：
最近需要搭建一套日志监控平台，结合系统本身的特性总结一句话也就是：需要将Kafka中的数据导入到elasticsearch中。那么如何将Kafka中的数据导入到elasticsearch中去呢，总结起来大概有如下几种方式： Kafka->logstash->elasticsearch->kibana 阅读全文
摘要：
Flume架构整体上看就是 source -->channel --> sink 的三层架构，类似生成者和消费者的架构，他们之间通过queue（channel）传输，解耦。 Source:完成对日志数据的收集，分成 transtion 和 event 打入到channel之中 Channel:主要提 阅读全文
摘要：
一、Spring Boot的理念 从最根本上来讲，Spring Boot就是一些库的集合，它能够被任意项目的构建系统所使用。简便起见，该框架也提供了命令行界面，它可以用来运行和测试Boot应用。框架的发布版本，包括集成的CLI（命令行界面），可以在Spring仓库中手动下载和安装。 实际中sprin 阅读全文
摘要：
在elasticsearch中存储数据的行为就叫做索引(indexing)，不过在索引之前，我们需要明确数据应该存储在哪里。 在elasticsearch中，文档归属于一种类型(type)，而这些类型存在于索引(index)中，我们可以画一些简单的对比图来类比传统的关系型数据库。 relation 阅读全文
摘要：
最近由于项目需要上线一个日志采集、展示的功能，借此机会梳理了一下日志采集的大体框架。一般日志采集的总体框架如下： 大体流程为：统一日志系统负责收集所有系统日志和业务日志，转化为流式数据，通过flume或logstash上传到日志中心(kafka集群)，然后供Track、Storm、Spark及其它系 阅读全文
摘要：
本文主要介绍使用Flume传输数据到MongoDB的过程，内容涉及环境部署和注意事项。 一、环境搭建 1、flune-ng下载地址：http://www.apache.org/dyn/closer.cgi/flume/1.5.2/apache-flume-1.5.2-bin.tar.gz2、mong 阅读全文
该文被密码保护。 阅读全文