03 2017 档案
摘要：最近在处理日志收集任务时，发现前端服务器用flume进行收集，逐步把所有的服务器都增加上。增加的差不多时。Kafka报了如下类似错误： 查了各种资料，发现是由于Kafka走的默认配置。发送的消息超过了最大字节导致的。修改如下参数即可： replica.fetch.max.bytes - this w
阅读全文
摘要：Flume与Logstash相比，个人的体会如下： Logstash比较偏重于字段的预处理；而Flume偏重数据的传输； Logstash有几十个插件，配置灵活；FLume则是强调用户的自定义开发（source和sink的种类也有一二十个吧，channel就比较少了）。 Logstash的input
阅读全文
摘要：一、Kafka ->logstash ->elasticsearch logstash 5.X以上版本不兼容5.x以下版本，因此在升级logstash时会遇到很多坑。首先是配置的变化，可以参考如下配置： 完成配置后可以通过如下命令来检测配置文件是否有语法错误： 另外，elasticsearch 5.
阅读全文
摘要：elasticsearch rest api遵循的格式为： 1、检查es版本信息 2、查看集群是否健康 3、查看节点列表 4、列出所有索引及存储大小 5、创建索引 6、添加一个类型 7、更新一个类型 8、删除指定索引 9、elasticsearch定期删除策略 http://www.jianshu.
阅读全文
摘要：之前在配置从logstash写数据到elasticsearch时，指定单个数据模板没有问题，但是在配置多个数据模板时候，总是不成功，后来找了很多资料，终于找到解决办法，就是要多加一个配置项： template_name ，切该名字必须全部为小写。 参考配置信息： 模板的配置请参见：http://qi
阅读全文
摘要：最近在做集中式日志，将应用的日志保存到Elasticsearch中，结合kibana实现集中化日志监控和报警。在设计ES存储的时候。考虑到日志的特殊性，打算采用Daily Indices方式。名称为：log-${application}-YYYY.MM.DD。每天会自动创建一个新的索引，类似于log
阅读全文
摘要：Kafka设计的初衷是迅速处理短小的消息，一般10K大小的消息吞吐性能最好（可参见LinkedIn的kafka性能测试）。但有时候，我们需要处理更大的消息，比如XML文档或JSON内容，一个消息差不多有10-100M，这种情况下，Kakfa应该如何处理?针对这个问题，有以下几个建议： 最好的方法是不
阅读全文
摘要：一、 Broker Config 二、Producer Config 三、Consumer Config
阅读全文
摘要：最近需要搭建一套日志监控平台，结合系统本身的特性总结一句话也就是：需要将Kafka中的数据导入到elasticsearch中。那么如何将Kafka中的数据导入到elasticsearch中去呢，总结起来大概有如下几种方式： Kafka->logstash->elasticsearch->kibana
阅读全文
摘要：Flume架构整体上看就是 source -->channel --> sink 的三层架构，类似生成者和消费者的架构，他们之间通过queue（channel）传输，解耦。 Source:完成对日志数据的收集，分成 transtion 和 event 打入到channel之中 Channel:主要提
阅读全文
摘要：一、Spring Boot的理念 从最根本上来讲，Spring Boot就是一些库的集合，它能够被任意项目的构建系统所使用。简便起见，该框架也提供了命令行界面，它可以用来运行和测试Boot应用。框架的发布版本，包括集成的CLI（命令行界面），可以在Spring仓库中手动下载和安装。 实际中sprin
阅读全文
摘要：在elasticsearch中存储数据的行为就叫做索引(indexing)，不过在索引之前，我们需要明确数据应该存储在哪里。 在elasticsearch中，文档归属于一种类型(type)，而这些类型存在于索引(index)中，我们可以画一些简单的对比图来类比传统的关系型数据库。 relation
阅读全文
摘要：最近由于项目需要上线一个日志采集、展示的功能，借此机会梳理了一下日志采集的大体框架。一般日志采集的总体框架如下： 大体流程为：统一日志系统负责收集所有系统日志和业务日志，转化为流式数据，通过flume或logstash上传到日志中心(kafka集群)，然后供Track、Storm、Spark及其它系
阅读全文
摘要：本文主要介绍使用Flume传输数据到MongoDB的过程，内容涉及环境部署和注意事项。 一、环境搭建 1、flune-ng下载地址：http://www.apache.org/dyn/closer.cgi/flume/1.5.2/apache-flume-1.5.2-bin.tar.gz2、mong
阅读全文
