随笔分类 - 日志收集(ELK)
ELK为主，分别介绍各自的特点，使用，搭建，扩展
摘要：有时为了日志解耦，通常不把日志打到文件，而是直接打到kafka，而为了分析日志，我们可以通过sidecar的方式，把日志从kafka写入到es里，而通过kibana对日志进行分析。 我的k8s-fluentd的相关文章 k8s~部署EFK框架 k8s~为服务添加sidecar边斗 k8s~fluen
阅读全文
摘要：# 应用监控配置 * -Darms.licenseKey 表示javaagent配置文件里的参数arms.licenseKey，表示授权码 * -Darms.appName 这个也是配置文件中的appName，表示应用名称 ``` -javaagent:D:/ArmsAgent/ArmsAgent/
阅读全文
摘要：Skywalking是一个分布式系统的应用程序性能监视工具，专为微服务、云原生架构和基于容器（Docker、K8s、Mesos）架构而设计。SkyWalking 是观察性分析平台和应用性能管理系统。提供分布式追踪、服务网格遥测分析、度量聚合和可视化一体化解决方案。支持Java, .Net Core,
阅读全文
摘要：fluentd的配置 <source> type tail path "/var/log/*.log" pos_file "/var/log/*.log.pos" tag "test" refresh_interval 120 format multiline format_firstline /\
阅读全文
摘要：之前的文章说过通过sidecar实现fluentd插件在容器上的挂载，直接将容器某个目录的log文件收集到es里，(相关文章：https://www.cnblogs.com/lori/p/12559323.html)在这里就不在重复说了，今天主要说一下关于fluentd.config的配置，就是在k
阅读全文
摘要：sidecar这个词一般指带有跨斗的摩托车，在二战时候小日本开着很多这种摩托车，它在原有基础上添加了一个跨斗，之后就可以多载一个人，而对于原来的两轮摩托车没有什么影响，把跨斗拆了也是可以的，对原来的事物没有本质上的破坏，只是扩展了新的功能，这与软件开发里的OCP原则很像，在服务网格的istio里也有
阅读全文
摘要：EFK,ELK都是目前最为流行的分布式日志框架,主要实现了日志的收集,存储,分析等,它可以与docker容器进行结合,来收集docker的控制台日志,就是stdout日志. elasticsearch.master_data_client说明 默认情况下，每个节点都有成为主节点的资格，也会存储数据，
阅读全文
摘要：Fluentd是一个日志收集工具，有输入端和输出端的概念，前者主要是日志的来源，你可以走多种来源方式，http,forward,tcp都可以，后者输出端主要指把日志进行持久化的过程，你可以直接把它持久化到elasticsearch里，也可以直接在控制台输出，这看你如何配置了，更多基础配置可以看大叔这
阅读全文
摘要：这段时候一直在研究ELK框架，主要集成在对fluentd和nxlog的研究上，国内文章不多，主要看了一下官方的API，配合自己的理解，总结了一下，希望可以帮到刚入行的朋友们！ Fluentd（日志收集与过滤,server） Fluentd是一个免费，而且完全开源的日志管理工具，简化了日志的收集、处理
阅读全文
摘要：前几天我写了几篇关于ELK日志收集，存储和分析的文章： ELK系列~NLog.Targets.Fluentd到达如何通过tcp发到fluentd ELK系列~Nxlog日志收集加转发(解决log4日志换行导致json转换失败问题) ELK系列~log4-nxlog-Fluentd-elasticse
阅读全文
摘要：经验与实践 前两篇文章里我们介绍了nxlog的日志收集和转发《ELK系列~Nxlog日志收集加转发(解决log4日志换行导致json转换失败问题)》，今天我们主要总结一下，在与log4和fluentd及elasticsearch配合工作时需要注意的几个点，这几个点也是我们经常遇到的坑，希望可以帮到大
阅读全文
摘要：本文章将会继承上一篇文章，主要讲通过工具来进行日志的收集与发送，《ELK系列~NLog.Targets.Fluentd到达如何通过tcp发到fluentd》 Nxlog是一个日志收集工具，它将系统日志，或者指定的日志文件，统配符文件找到，然后加工，最后发送到目标位置。而目标位置有很多种，如文件系统，
阅读全文
摘要：最近火的不能再火的日志框架就是ELK，其中E（Elasticsearch）表示日志存储，L（Logstash）表示日志收集，K（kibana）表示日志的UI界面，用来查询和分析，而其中的L可以使用Fluentd来代替，并且以上架构都可以通过docker来进行快速的部署。 它们的工作流程 fluent
阅读全文