-
【Beats】Filebeat收集Nginx日志（十九）
摘要：本例介绍如何使用Filebeat收集Nginx日志，在【Beats】 Filebeat介绍及使用（十六）中，介绍了如何抓入日志， 前面要想实现日志数据的读取以及处理都是自己手动配置的，其实，在Filebeat中，有大量的Module，可以简化我 们的配置，直接就可以使用，如下: Filebeat N
阅读全文
-
【Beats】Filebeat配置及索引生命周期（十八）
摘要：在Filebeat配置中，处理配置 输入（filebeat.inputs）和 输出（output），还可以配置一些其他配置，如：全局配置、常规配置、索引生命周期管理、处理器等 文档地址：https://www.elastic.co/guide/en/beats/filebeat/7.x/config
阅读全文
-
【Beats】Filebeat工作原理（十七）
摘要：Filebeat工作方式 Filebeat是用于转发和集中日志数据的轻量级传送程序。作为服务器上的代理安装，Filebeat监视您指定的日志文件或位置，收集日志事件，并将它们转发到Elasticsearch或 Logstash进行索引。 Filebeat的工作方式如下：启动Filebeat时，它将启
阅读全文
-
【Beats】Filebeat介绍及使用（十六）
摘要：Beats介绍 Beats 是轻量型数据采集器，Beats 是一个免费且开放的平台，集合了多种单一用途数据采集器。它们从成百上千或成千上万台机器和系统向 Logstash 或 Elasticsearch 发送数据。 官网：https://www.elastic.co/cn/beats/ 文档：htt
阅读全文
-
【Kibana】 可视化和浏览数据（十五）
摘要：数据探索 可以在数据探索（Discover）页面交互式地探索的数据。可以访问与选定索引模式匹配的每个索引中的每个文档。可以提交搜索请求、过滤搜索结果、查看文档数据。还可以看到与搜索查询匹配的文档数，并获取字段值的统计信息。如果索引模式中配置了时间字段，还可以在这个页面的顶部看到基于时间分布的文档数量
阅读全文
-
【Kibana】 快速入门及安装（十四）
摘要：Kibana介绍 Kibana 是一款开源的数据分析和可视化平台，它是 Elastic Stack 成员之一，设计用于和 Elasticsearch 协作。您可以 使用 Kibana 对 Elasticsearch 索引中的数据进行搜索、查看、交互操作。您可以很方便的利用图表、表格及地图对 数据进行
阅读全文
-
【ElasticSearch】 ElasticSearch SQL（十三）
摘要：ElasticSearch SQL介绍 Elasticsearch SQL是一个X-Pack组件，它允许针对Elasticsearch实时执行类似SQL的查询。无论使用REST接口，命令行还是JDBC，任何客户端都可以使用SQL 在Elasticsearch内部本机搜索和聚合数据 。可以将Elast
阅读全文
-
【ElasticSearch】 ElasticSearch X-Pack之用户认证（十二）
摘要：X-Pack介绍 X-Pack是Elastic Stack扩展，提供安全性，警报，监视，报告，机器学习和许多其他功能。默认情况下，当您安装Elasticsearch时，会安装X-Pack。 安装默认发行版时，您会获得基本许可证（30天使用期）。有关基本许可证中包含的免费功能的完整列表，请参见 htt
阅读全文
-
【ElasticSearch】 ElasticSearch Java客户端（十一）
摘要：Java客户端 在Elasticsearch中，为java提供了2种客户端，一种是REST风格的客户端，另一种是Java API的客户端。 官网：https://www.elastic.co/guide/en/elasticsearch/client/index.html REST客户端 Elast
阅读全文
-
【ElasticSearch】 ElasticSearch集群分布式文档（十）
摘要：路由 首先，来看个问题: 如图所示:当我们想一个集群保存文档时，文档该存储到哪个节点呢? 是随机吗? 是轮询吗? 实际上，在ELasticsearch中，会采用计算的方式来确定存储到哪个节点，计算公式如下: shard = hash(routing) % number_of_primary_shar
阅读全文
-
【ElasticSearch】 ElasticSearch集群之分片、副本、故障转移（九）
摘要：分片和副本 为了将数据添加到Elasticsearch，我们需要索引(index)——一个存储关联数据的地方。实际上，索引只是一个用来 指向一个或多个分片(shards)的“逻辑命名空间(logical namespace)”. 一个分片(shard)是一个最小级别“工作单元(worker unit
阅读全文
-
【ElasticSearch】 ElasticSearch集群安装（八）
摘要：集群节点 ELasticsearch的集群是由多个节点组成的，通过cluster.name设置集群名称，并且用于区分其它的集群，每个节点 通过node.name指定节点的名称。 在Elasticsearch中，节点的类型主要有4种: master节点 配置文件中node.master属性为true(
阅读全文
-
【ElasticSearch】 全文搜索（七）
摘要：全文搜索介绍 全文搜索两个最重要的方面是: 相关性(Relevance) 它是评价查询与其结果间的相关程度，并根据这种相关程度对结果排名的一种能力，这 种计算方式可以是 TF/IDF 方法、地理位置邻近、模糊相似，或其他的某些算法。 分词(Analysis) 它是将文本块转换为有区别的、规范化的 t
阅读全文
-
【ElasticSearch】 中文分词器-IK分词器（六）
摘要：一、分词介绍 1.1 什么是分词 分词就是指将一个文本转化成一系列单词的过程，也叫文本分析，在Elasticsearch中称之为Analysis。 举例:我是中国人 --> 我/是/中国人 1.2 分词api 指定分词器进行分词 示例： POST /_analyze { "analyzer": "s
阅读全文
-
【ElasticSearch】 核心详解（五）
摘要：文档 在Elasticsearch中，文档以JSON格式进行存储，可以是复杂的结构，如: 1 { 2 "_index": "test", 3 "_type": "doc", 4 "_id": "1005", 5 "_version": 2, 6 "_seq_no": 10, 7 "_primary_
阅读全文
-
【ElasticSearch】 ElasticSearch基本概念和RESTful API（四）
摘要：ElasticSearch基本概念 索引 索引(index)是Elasticsearch对逻辑数据的逻辑存储，所以它可以分为更小的部分。 可以把索引看成关系型数据库的表，索引的结构是为快速有效的全文索引准备的，特别是它不存储原始值。 Elasticsearch可以把索引存放在一台机器或者分散在多台服
阅读全文
-
【ElasticStack】入门介绍（三）
摘要：ElasticStack介绍 ElasticStack 是一系列开源产品的合集，包括 Elasticsearch、Kibana、Logstash 以及 Beats 等，能够安全可靠地获取任何来源、任何格式的数据，并且能够实时地对数据进行搜索、分析和可视化。其中，Logstash和Beats负责数据的
阅读全文
-
【Application】Consul安装及运行
摘要：Consul是什么 Consul 是一套开源的分布式服务发现和配置管理系统，由HashiCorp公司用Go语音开发 Consul是一个服务网格（微服务间的 TCP/IP，负责服务之间的网络调用、限流、熔断和监控）解决方案，它是一个一个分布式的，高度可用的系统，而且开发使用都很简便。它提供了一个功能齐
阅读全文
-
【Application】Docker 安装 Redis（七）
摘要：Redis 是一个开源的使用 ANSI C 语言编写、支持网络、可基于内存亦可持久化的日志型、Key-Value 的 NoSQL 数据库，并提供多种语言的 API。 1、查看可用的 Redis 版本 访问 Redis 镜像库地址： https://hub.docker.com/_/redis?tab
阅读全文
-
【Application】Docker 安装 MySQL（六）
摘要：MySQL 是世界上最受欢迎的开源数据库。凭借其可靠性、易用性和性能，MySQL 已成为 Web 应用程序的数据库优先选择。 环境：CentOS 7.4 docker版本：19.03.8 1、查看可用的 MySQL 版本 访问 MySQL 镜像库地址：https://hub.docker.com/_
阅读全文
|
