无虑的小猪

2024年1月25日

摘要： 1、FileBeat简介 Filebeat是用于转发和集中日志数据的轻量级传送工具。Filebeat监视用户指定的日志文件或位置，收集日志事件，并将日志数据转发到Elasticsearch或Logstash进行索引。 Logstash运行在JVM中，对内存、cpu、io等资源消耗比较高，Beats所阅读全文

posted @ 2024-01-25 14:59 无虑的小猪阅读(29) 评论(0) 推荐(0) 编辑

(十四)：Logstash配置

摘要：在Logstash安装中演示了Logstash标准输入输出。标准输入输出模块，可以使Logstash读取键盘输入内容，并将结果直接打印在屏幕上。 1、Logstash配置结构与内容 1.1、配置结构 # this is a comment input { value... } filter { va 阅读全文

posted @ 2024-01-25 14:53 无虑的小猪阅读(410) 评论(0) 推荐(0) 编辑

(十三)：Logstash安装

摘要： 1、下载Logstash Logstash下载地址：https://www.elastic.co/cn/downloads/past-releases#logstash。这里选择7.10.0版本1，和我这边的ElasticSearch版本保持一致。下载完成后解压文件，详情如下: 2、配置Logst 阅读全文

posted @ 2024-01-25 14:38 无虑的小猪阅读(188) 评论(0) 推荐(0) 编辑

(十二)：Logstash简介

摘要： 1、Logstash的概念 Logstash是一个开源数据收集引擎，具有实时管道功能。Logstash可以动态地将来自不同数据源的数据统一起来，并将数据标准化到选择的目的地。 2、Logstash的特点 2.1、日志与指标 Logstash可以处理所有类型的日志数据，轻松地摄取大量的web日志(如A 阅读全文

posted @ 2024-01-25 14:30 无虑的小猪阅读(44) 评论(0) 推荐(0) 编辑

2024年1月18日

(十一)：ES的编程操作

摘要： 1、ES API的两种方式 Elasticsearch 的API 分为 REST Client API（http请求形式）以及 transportClientAPI两种。相比来说transportClient API效率更高，transportClient是通过Elasticsearch内部RPC的阅读全文

posted @ 2024-01-18 17:29 无虑的小猪阅读(24) 评论(0) 推荐(0) 编辑

(十)：IK分词器

摘要： ElasticSearch默认的内置分词器standard是针对英文等拉丁语系设计的，是不支持中文分词的。IK分词器是一个开源的中文分词器插件，丰富和优化了 Elasticsearch 的设计。 ES默认分词器standard对中文分词结果如下： 1、IK分词器的特点 IK分词器是ES的一个插件，有阅读全文

posted @ 2024-01-18 17:18 无虑的小猪阅读(191) 评论(0) 推荐(0) 编辑

(九)：ElasticSearch聚合查询(Aggregation aggs)

摘要：聚合查询文档：https://www.elastic.co/guide/en/elasticsearch/reference/7.4/search-aggregations.html。聚合查询与Mysql中的 group by 类似，可以实现对数据统计、分析。如热点商品、销量等信息。 Elasti 阅读全文

posted @ 2024-01-18 17:12 无虑的小猪阅读(73) 评论(0) 推荐(0) 编辑

(八)：ElasticSearch结构化查询 Query DSL

摘要： ElasticSearch提供了一个可以执行的JSON风格的DSL(domain-specific language 领域特定语言)，被称为Query DSL。 1、准备工作 1.1、测试数据下载测试数据下载：https://download.elastic.co/demos/kibana/get 阅读全文

posted @ 2024-01-18 17:07 无虑的小猪阅读(26) 评论(0) 推荐(0) 编辑

(六)：映射配置(_mapping)

摘要：映射配置与关系数据库中表的DDL类似，在ES中映射时定义文档的过程，定义了文档包含哪些字段，并对文档字段是否保存、是否索引、是否分词等进行设置。 1、查看映射字段 GET /索引名/_mapping 详情如下： 2、创建映射字段创建映射字段语法： PUT /索引库名/_mapping/类型名称 { 阅读全文

posted @ 2024-01-18 16:51 无虑的小猪阅读(38) 评论(0) 推荐(0) 编辑

(七)：ElasticSearch客户端操作

摘要： ElasticSearch服务的客户端，有以下三种方式： ·elasticsearch-head插件 ·elasticsearch提供的Restful接口直接访问 ·elasticsearch提供的API进行访问 1、elasticsearch-head插件启动插件后，访问 http://loca 阅读全文

posted @ 2024-01-18 16:36 无虑的小猪阅读(169) 评论(0) 推荐(0) 编辑

公告