摘要：
Metricbeat包的安装及简单使用 Metricbeat包的安装及简单使用 系统数据采集 Python -> ES -> Grafana metricbeat的安装 metricbeat -> logstash -> ES -> Grafana系统监控 Metricbeat解决的问题：手动写Py 阅读全文
摘要：
Grafana的安装和读取ES数据 模拟es数据产生sjgtest.py import time import datetime from elasticsearch import Elasticsearch es = Elasticsearch(['http://elastic:sjgpwd@19 阅读全文
摘要：
原理待补充： kafka依赖于zookeeper集群。 都是基于java 由于源码安装jdk 未声明bin下java 在各自server配置文件中声明 JAVA_HOME=/usr/local/jdk1.8.0_241 引入kafka缓存日志之ZK搭建 之前架构 Filebeat(多台) -> Lo 阅读全文
摘要：
filebeat工作原理 ilebeat是本地文件的日志数据采集器。 作为服务器上的代理安装，Filebeat监视日志目录或特定日志文件，tail file，并将它们转发给Elasticsearch或Logstash进行索引、kafka 等。 filebeat单纯采集如果logstash sprun 阅读全文
摘要：
Logstash工作原理 Logstash事件处理有三个阶段：inputs → filters → outputs。是一个接收，处理，转发日志的工具。支持系统日志，webserver日志，错误日志，应用日志，总之包括所有可以抛出来的日志类型。 如上图，Logstash的数据处理过程主要包括：Inpu 阅读全文
摘要：
kibane安装及基础使用 Kibana的安装 Kibana包含前端展示、es操作简化 yum localinstall kibana-7.6.2-x86_64.rpm -y Kibana配置修改kibana.yml，连接es的用户名密码需要正确 server.port: 5601 server.h 阅读全文
摘要：
Elasticsearch－基础介绍及索引原理分析 介绍 Elasticsearch 是一个分布式可扩展的实时搜索和分析引擎,一个建立在全文搜索引擎 Apache Lucene(TM) 基础上的搜索引擎.当然 Elasticsearch 并不仅仅是 Lucene 那么简单，它不仅包括了全文搜索功能， 阅读全文
摘要：
logstash logstash基于JRuby实现，可以跨平台运行在JVM上 优点： 主要的优点就是它的灵活性，这还主要因为它有很多插件。然后它清楚的文档已经直白的配置格式让它可以再多种场景下应用。这样的良性循环让我们可以在网上找到很多资源，几乎可以处理任何问题。 劣势： Logstash 致命的 阅读全文
摘要：
ELK集群： 主机节点采用日志采集工具如filebeat，logstash等通过日志目录文件进行采集并简单过滤，传输到kafka集群做队列缓存，可以增加一层缓存，降低直接传输带来的延迟数据丢失等。kafka使用zookeeper进行存储。 logstash通过队列去kafka取对应的队列数据，进行过 阅读全文
摘要：
吞吐量（TPS）、QPS、并发数、响应时间（RT）概念 开发的原因，需要对吞吐量（TPS）、QPS、并发数、响应时间（RT）几个概念做下了解，查自百度百科，记录如下：1. 响应时间(RT) 响应时间是指系统对请求作出响应的时间。直观上看，这个指标与人对软件性能的主观感受是非常一致的，因为它完整地记录 阅读全文
摘要：
传统日志与kubernetes日志对比 传统服务 目录固定 重启不会丢失 不用关注标准与错误日志输出 容器服务 节点不固定 重启服务会漂移 需要关注标准与错误日志输出 日志文件重启会丢失 日志目录不固定 k8s中的日志处理 常见日志采集方案： 1.远程日志 将容器中日志直接写入远程kafka、es等 阅读全文