摘要:
前言: 上一篇实践了通过Logstash同步MySQL的几张关联表到Elasticsearch中。为了实现同一种业务需求,嵌套文档在资源开销和查询速度上要优于父子文档(针对少量数据的情况)。所以以下就实践一下嵌套文档的基本使用和,以及Logstash如何同步一对多关系表到ElasticSearch的 阅读全文
随笔档案-2021年12月
Logstash同步MySQL一对多关联表到Elasticsearch父子文档
2021-12-20 20:07 by 北桥苏, 485 阅读, 收藏, 编辑
摘要:
前言: 目前大部分业务开发中,ElasticSearch主要还是用来做搜索。而支撑搜索功能的数据结构比较单一,不会有数据嵌套或者多种关联之类的。尽管没有,但是有些小众需求可能还会有一对多查询的场景。为了实现和MySQL的Join类似的查询方式,以下以ES的父子文档方式储存,并详细演示Logstash 阅读全文
Logstash如何批量同步MySQL多表到ElasticSearch
2021-12-08 09:51 by 北桥苏, 621 阅读, 收藏, 编辑
摘要:
前言: 上一篇文章也简单的介绍了Logstash同步MySQL到ElasticSearch。批量同步虽说就配置文件不一样,但是实际操作的时候,也还会遇到不少的问题,比如reader不允许特殊字符(0x0)等等。下面也主要以几个问题来演示批量同步的过程,以及启动命令时如何排查报错的方法。 批量同步配置 阅读全文
如何通过Logstash将MySQL数据同步到ElasticSearch
2021-12-06 09:21 by 北桥苏, 438 阅读, 收藏, 编辑
摘要:
前言: 最近又重新在看ElasticSearch的文档,发现那些DSL语法全都忘记了,所以准备写一个用ES做储存的demo小项目。其实是用DSL代替之前项目的SQL,但是数据以及一些字段还是需要,所以就需要将以前的MySQL数据导入到ElasticSearch中。 以前的做法是写一个脚本,通过创建索 阅读全文