-
【Logstash】Logstash收集Nginx访问日志（二十六）
摘要：本章介绍使用Logstash收集Nginx访问日志 直接根据日志文件收集 流程： 1、准备nginx日志，日志格式如下： 1 log_format upstreaminfo 2 '$remote_addr - $remote_user [$time_local] "$request" ' 3 '$s
阅读全文
-
【Logstash】Logstash快速入门（二十五）
摘要：Logstash简介 Logstash是具有实时流水线功能的开源数据收集引擎。Logstash可以动态统一来自不同来源的数据，并将数据标准化到选择的目标位置。清除所有数据并使其民主化，以用于各种高级下游分析和可视化用例。 虽然Logstash最初推动了日志收集方面的创新，但其功能远远超出了该用例。任
阅读全文
-
【Kibana】集群监控（二十四）
摘要：在集群中启用监视功能，则有两种方法可以收集有关Kibana的指标 旧版收集方法 kibaba通过定时请求ES集群API，获取ES指标数据，将数据保存到ES索引中，然后通过查询ES索引数据，展示到页面上 官网文档：https://www.elastic.co/guide/en/kibana/7.x/m
阅读全文
-
【Beats】Metricbeat 收集Nginx指标数据（二十三）
摘要：本章介绍使用Metricbeat 收集Nginx指标数据使用，关于Metricbeat使用参考：【Beats】 Metricbeat快速入门（二十二） 步骤一、开启nginx的状态查询 搭建Nginx，搭建参考：【Web】Nginx下载与安装 1、安装nginx，需要加入http_stub_stat
阅读全文
-
【Beats】Metricbeat快速入门（二十二）
摘要：Metricbeat介绍 Metricbeat是一种轻量级的托运人，可以将其安装在服务器上，以定期从操作系统和服务器上运行的服务收集指标。Metricbeat会收集它收集的度量标准和统计信息，并将其运送到指定的输出，例如Elasticsearch或Logstash。 Metricbeat通过从服务器
阅读全文
-
【Beats】Filebeat 与 Kibana仪表板（二十一）
摘要：Filebeat附带了示例Kibana仪表板，可视化文件，并提供了搜索以可视化Kibana中的Filebeat数据。 本例展示Nginx示例仪表板 步骤一、采集Nginx日志 使用Filebeat Nginx Module采集Nginx Access日志 参考：【Beats】 Filebeat收集N
阅读全文
-
【Kibana】坐标地图（二十）
摘要：Kibana地图使能够实时，大规模，快速地解析地理数据。借助地图中的多个图层和索引，原始文档的绘制，动态客户端样式以及跨多个图层的全局搜索等功能，可以轻松地理解和监视数据。 使用地图，可以： 创建具有多个图层和索引的地图。 将GeoJSON文件上传到Elasticsearch中。 将地图嵌入到仪表板
阅读全文
-
【Beats】Filebeat收集Nginx日志（十九）
摘要：本例介绍如何使用Filebeat收集Nginx日志，在【Beats】 Filebeat介绍及使用（十六）中，介绍了如何抓入日志， 前面要想实现日志数据的读取以及处理都是自己手动配置的，其实，在Filebeat中，有大量的Module，可以简化我 们的配置，直接就可以使用，如下: Filebeat N
阅读全文
-
【Beats】Filebeat配置及索引生命周期（十八）
摘要：在Filebeat配置中，处理配置 输入（filebeat.inputs）和 输出（output），还可以配置一些其他配置，如：全局配置、常规配置、索引生命周期管理、处理器等 文档地址：https://www.elastic.co/guide/en/beats/filebeat/7.x/config
阅读全文
-
【Beats】Filebeat工作原理（十七）
摘要：Filebeat工作方式 Filebeat是用于转发和集中日志数据的轻量级传送程序。作为服务器上的代理安装，Filebeat监视您指定的日志文件或位置，收集日志事件，并将它们转发到Elasticsearch或 Logstash进行索引。 Filebeat的工作方式如下：启动Filebeat时，它将启
阅读全文
-
【Beats】Filebeat介绍及使用（十六）
摘要：Beats介绍 Beats 是轻量型数据采集器，Beats 是一个免费且开放的平台，集合了多种单一用途数据采集器。它们从成百上千或成千上万台机器和系统向 Logstash 或 Elasticsearch 发送数据。 官网：https://www.elastic.co/cn/beats/ 文档：htt
阅读全文
-
【Kibana】 可视化和浏览数据（十五）
摘要：数据探索 可以在数据探索（Discover）页面交互式地探索的数据。可以访问与选定索引模式匹配的每个索引中的每个文档。可以提交搜索请求、过滤搜索结果、查看文档数据。还可以看到与搜索查询匹配的文档数，并获取字段值的统计信息。如果索引模式中配置了时间字段，还可以在这个页面的顶部看到基于时间分布的文档数量
阅读全文
-
【Kibana】 快速入门及安装（十四）
摘要：Kibana介绍 Kibana 是一款开源的数据分析和可视化平台，它是 Elastic Stack 成员之一，设计用于和 Elasticsearch 协作。您可以 使用 Kibana 对 Elasticsearch 索引中的数据进行搜索、查看、交互操作。您可以很方便的利用图表、表格及地图对 数据进行
阅读全文
-
【ElasticSearch】 ElasticSearch SQL（十三）
摘要：ElasticSearch SQL介绍 Elasticsearch SQL是一个X-Pack组件，它允许针对Elasticsearch实时执行类似SQL的查询。无论使用REST接口，命令行还是JDBC，任何客户端都可以使用SQL 在Elasticsearch内部本机搜索和聚合数据 。可以将Elast
阅读全文
-
【ElasticSearch】 ElasticSearch X-Pack之用户认证（十二）
摘要：X-Pack介绍 X-Pack是Elastic Stack扩展，提供安全性，警报，监视，报告，机器学习和许多其他功能。默认情况下，当您安装Elasticsearch时，会安装X-Pack。 安装默认发行版时，您会获得基本许可证（30天使用期）。有关基本许可证中包含的免费功能的完整列表，请参见 htt
阅读全文
-
【ElasticSearch】 ElasticSearch Java客户端（十一）
摘要：Java客户端 在Elasticsearch中，为java提供了2种客户端，一种是REST风格的客户端，另一种是Java API的客户端。 官网：https://www.elastic.co/guide/en/elasticsearch/client/index.html REST客户端 Elast
阅读全文
-
【ElasticSearch】 ElasticSearch集群分布式文档（十）
摘要：路由 首先，来看个问题: 如图所示:当我们想一个集群保存文档时，文档该存储到哪个节点呢? 是随机吗? 是轮询吗? 实际上，在ELasticsearch中，会采用计算的方式来确定存储到哪个节点，计算公式如下: shard = hash(routing) % number_of_primary_shar
阅读全文
-
【ElasticSearch】 ElasticSearch集群之分片、副本、故障转移（九）
摘要：分片和副本 为了将数据添加到Elasticsearch，我们需要索引(index)——一个存储关联数据的地方。实际上，索引只是一个用来 指向一个或多个分片(shards)的“逻辑命名空间(logical namespace)”. 一个分片(shard)是一个最小级别“工作单元(worker unit
阅读全文
-
【ElasticSearch】 ElasticSearch集群安装（八）
摘要：集群节点 ELasticsearch的集群是由多个节点组成的，通过cluster.name设置集群名称，并且用于区分其它的集群，每个节点 通过node.name指定节点的名称。 在Elasticsearch中，节点的类型主要有4种: master节点 配置文件中node.master属性为true(
阅读全文
-
【ElasticSearch】 全文搜索（七）
摘要：全文搜索介绍 全文搜索两个最重要的方面是: 相关性(Relevance) 它是评价查询与其结果间的相关程度，并根据这种相关程度对结果排名的一种能力，这 种计算方式可以是 TF/IDF 方法、地理位置邻近、模糊相似，或其他的某些算法。 分词(Analysis) 它是将文本块转换为有区别的、规范化的 t
阅读全文
|
