摘要：
目录 文件 阅读全文
摘要：
默认情况下，每个主分片都有一个副本，但可以在现有索引上动态更改副本数。 永远不会在与其主分片相同的节点上启动副本分片。 分片分布计算公式： 写入到Elasticsearch的文档，在默认的情况下并不马上可以进行搜索。这是因为在Elasticsearch的设计中，有一个叫做refresh的操作。它可以 阅读全文
摘要：
curl命令使用账号密码连接es pretty的用法 阅读全文
摘要：
安装 因为我们需要使用docker来进行安装，我们必须安装： docker：根据不同的操作系统，请按照要求安装docker。可以到网站https://docs.docker.com/去安装 docker compose。这个可以到网站https://docs.docker.com/compose/i 阅读全文
摘要：
Elastic：使用Heartbeat进行Uptime监控 Elastic在6.5的版本中推出Heartbeat。Heartbeat 也就是我们通常所说的心跳。我们知道在医院，医生是用听心跳来判断一个人是否有生命迹象。在Elastic的Heartbeat里，它也是一样的道理。Heartbeat是一个 阅读全文
摘要：
Elastic：如何在一个机器上同时模拟多个node 第一步：下载并安装Elasticsearch 先不要运行Elasticsearch。 第二步：运行Elasticsearch实例 现在，我们将展示如何启动您的第一个实例。 为此，请打开终端并转到Elasticsearch的安装目录。 然后使用以下 阅读全文
摘要：
Elastic: 使用索引生命周期管理实现热温冷架构 索引生命周期管理 (ILM) 是在 Elasticsearch 6.6（公测版）首次引入并在 6.7 版正式推出的一项功能。ILM 是 Elasticsearch 的一部分，主要用来帮助您管理索引。 在本篇博客中，我们将探讨如何使用 ILM 实现 阅读全文
摘要：
需要学习的地方：使用logstash获取数据后，然后根据这些数据再从MySQL数据库中进行匹配，增加一些数据到logstash的数据流中，然后输出到es 在IoT物联网时代，我们经常会遇到从传感器采集数据的情况。这些传感器，可以上传物联网数据，比如温度，湿度。通常这些传感器带有自己的ID，但是它并不 阅读全文
摘要：
Logstash：多个配置文件（conf） 对于多个配置的处理方法，有多个处理方法： 多个pipeline 一个pipleline处理多个配置文件 一个pipeline含有一个逻辑的数据流，它从input接收数据，并把它们传入到队列里，经过worker的处理，最后输出到output。这个output 阅读全文
摘要：
Logstash：处理多个input Logstash的整个pipleline分为三个部分： input插件：提取数据。 这可以来自日志文件，TCP或UDP侦听器，若干协议特定插件（如syslog或IRC）之一，甚至是排队系统（如Redis，AQMP或Kafka）。 此阶段使用围绕事件来源的元数据标 阅读全文
摘要：
为了充分利用 Elasticsearch 提供的强大搜索功能，很多公司都会在既有关系型数据库的基础上再部署Elasticsearch。在这种情况下，很可能需要确保 Elasticsearch 与所关联关系型数据库中的数据保持同步。因此，在本篇博文中，我会演示如何使用 Logstash 来高效地复制数 阅读全文
摘要：
Logstash：把MySQL数据导入到Elasticsearch中 前提条件 需要安装好Elasticsearch及Kibana。 MySQL安装 根据不同的操作系统我们分别对MySQL进行安装。我们可以访问网页来对MySQL进行安装。等我们安装完我们的MySQL后，在我们的terminal中，打 阅读全文
摘要：
apache日志 日志格式 csv文件 阅读全文
摘要：
Logstash：Data转换，分析，提取，丰富及核心操作 Logstash plugins Logstash是一个非常容易进行扩张的框架。它可以对各种的数据进行分析处理。这依赖于目前提供的超过200多个plugin。 首先，我们来查看一下目前有哪些plugin： Input plugins 首先进 阅读全文
摘要：
需要学习的地方：概念，用法，模块使用 Elastic Beats介绍 Elastic Stack传统上由三个主要组件（Elasticsearch，Logstash和Kibana）组成，早已脱离了这种组合，现在也可以与名为“ Beats”的第四个元素结合使用 一个针对不同用例的日志运送者系列。 现在网 阅读全文
摘要：
学习的地方：配置文件中预先处理字段数据的用法 通过Filebeat把日志传入到Elasticsearch Elastic Stack被称之为ELK (Elasticsearch，Logstash and Kibana)。由于beats的加入，现在很多人把ELK说成为ELKB。这里的B就是代表Beat 阅读全文
摘要：
Auditbeat使用介绍 Auditbeat是一种轻量级的数据收集器，您可以将其安装在服务器上，以审核系统上用户和进程的活动。 例如，您可以使用Auditbeat从Linux Audit Framework收集和集中审核事件。 您还可以使用Auditbeat来检测对关键文件（如二进制文件和配置文件 阅读全文
摘要：
利用ingest node所提供的Pipeline帮我们对数据进行处理。 在Elasticsearch中的配置文件elasticsearch.yml文件中配置： ingest node提供了在对文档建立索引之前对其进行预处理的功能： 接收节点拦截索引或批量API请求 运用转换（transformat 阅读全文
摘要：
Elastic安全机制 在很多的情况下，出于安全的原因，我们需要对不同的Kibana用户分配不同的用户权限，这样使得他们之间不能互相访问彼此的资源，同 时他们也应该对不同的索引拥有不同的权限，比如读，写，管理等等。Elastic Security通过基于角色的功能提供授权存取控制（RBAC Role 阅读全文
摘要：
配置主机hosts文件 说明： 192.168.75.20主机上配置filebeat，logstash和kibana 192.168.75.22主机上配置elasticsearch instances.yml文件内容 存储路径：/usr/share/elasticsearch 生成证书 es配置 设 阅读全文
摘要：
输出json 输出rubydebug 阅读全文
摘要：
前提条件，es集群内部各节点已开启https访问，集群也已开启x pack安全功能，并设置了系统默认的用户密码等，具体操作详见：https://www.cnblogs.com/sanduzxcvbnm/p/12046640.html 在ES节点上创建logstash_write_role角色 方法一 阅读全文
摘要：
Hadoop安装完后，启动时报Error: JAVA_HOME is not set and could not be found. 解决办法： 修改/etc/hadoop/hadoop env.sh中设JAVA_HOME。 应当使用绝对路径。 //错误，不能这么改 //正确，应该这么改 阅读全文
摘要：
为了保证应用日志数据的传输安全，我们可以使用SSL相互身份验证来保护Filebeat和Logstash之间的连接。 这可以确保Filebeat仅将加密数据发送到受信任的Logstash服务器，并确保Logstash服务器仅从受信任的Filebeat客户端接收数据。 下面就讲述一下配置Filebeat 阅读全文
摘要：
crt格式转pem 重命名 我们可以直接把fullchain.pem重命名为“fullchain.crt 把privkey.pem重命名为privkey.key 阅读全文
摘要：
地址：https://www.elastic.co/guide/en/elasticsearch/reference/7.5/certutil.html 语法： 语法解析： 模式 三种模式说明 参数详解： 参数翻译： 举例： 举例说明： 以下命令生成PKCS＃12格式的CA证书和私钥： 提示您输入输 阅读全文
摘要：
1.创建CA证书 2.生成节点使用的证书 提取出pem证书 不知道是啥的证书 批量生成证书 官方文档证书生成 官方地址：https://www.elastic.co/guide/en/elasticsearch/reference/master/encrypting communications c 阅读全文
摘要：
logstash的配置文件conf经常会涉及敏感信息，比如ES，mysql的账户密码等，以下使用logstash导入mysql为例子，加密隐藏mysql的密码。 在向keystore中添加key及其secret值之后，你可以在配置敏感设置时使用key代替secret值。 引用key的语法与环境变量的 阅读全文
摘要：
一台主机，ip:192.168.80.10,运行一个es，一个kibana 实现的效果 1. es集群内部开启证书验证才能加入集群 2. kibana与es集群通信使用https方式 3. 访问es集群节点使用https方式 4. 使用浏览器访问kibana使用https方式 后期考虑把logsta 阅读全文
摘要：
用途：迁移数据到其他节点上的时候需要用这个 阅读全文
摘要：
请求体查询 简单查询语句(lite)是一种有效的命令行ad hoc查询。但是，如果你想要善用搜索，你必须使用请求体查询(request body search)API。之所以这么称呼，是因为大多数的参数以JSON格式所容纳而非查询字符串。 请求体查询(下文简称查询)，并不仅仅用来处理查询，而且还可以 阅读全文
摘要：
查询前5条数据 光标停在某一个查询结果框中，左下角会显示该字段的类型 查询类型是text的字段使用单引号，使用双引号查询会报错 阅读全文
摘要：
路由文档到分片 Elasticsearch是如何知道文档属于哪个分片的呢？ 进程不能是随机的,它根据一个简单的算法决定 这也解释了为什么主分片的数量只能在创建索引时定义且不能修改：如果主分片的数量在未来改变了，所有先前的路由值就失效了，文档也就永远找不到了。 所有的文档API(get、 index、 阅读全文
摘要：
文档元数据 索引一个文档 检索文档 检索文档的一部分 检索文档是否存在 更新整个文档 创建一个新文档 删除文档 处理冲突 使用外部版本控制系统 文档局部更新 使用脚本局部更新 更新可能不存在的文档 更新和冲突 检索多个文档 批量操作 阅读全文
摘要：
配合使用logrotate分割nginx日志使用 但是实际使用结果会有一个问题，采用方式二后，前几天都还正常，大概在十来天的时候会出现日志切割后没有重新生成新的日志文件的问题。。。。 换成方式一就不存在这个问题 阅读全文
摘要：
说明：三台ES节点组成ES集群，一台kibana主机，版本均是7.3.0，白金试用版 官方地址：https://www.elastic.co/guide/en/elasticsearch/reference/7.3/modules snapshots.html 1.在kibana所在主机搭建NFS服 阅读全文
摘要：
情况说明： 三台es组成集群，一台kibana，版本均为7.3.0 es版本要求是白金版，基础版的不行，不过可以试用30天的白金版 步骤：先说我自己走通的流程，然后介绍官方说明 1.因为我这边使用的是三台es，所以我这边三台都需要配置 原因如下：只配置一台的话，电子邮件选项是灰色的不可用状态，只有三 阅读全文
摘要：
```bash
基础类工具
1、Head插件
1）功能概述：
ES集群状态查看、索引数据查看、ES DSL实现（增、删、改、查操作）
比较实用的地方：json串的格式化
2）地址：http://mobz.github.io/elasticsearch-head/ 2、Kibana工具
除了支持各种数据的可视化之外，最重要的是：支持Dev Tool进行RESTFUL API增删改查操作。
——比... 阅读全文