实现一套ES全文检索语法-到Lucene语法的转换工具,以实现在es外部兼容处理文本分词

实现一套ES全文检索语法-到Lucene语法的转换工具,以实现在es外部兼容处理文本分词

Elasticsearch本身不做介绍

主要使用点

1 分布式数据仓储

2 全文检索

3 查询及聚合统计

不同的产品使用功能点各有侧重

部分业务场景重度使用Elasticsearch的全文检索功能

受限于Elasticsearch的性能瓶颈需要离线执行 全兼容的离线服务

例如,数据同时保存在es和hbase中

普通列的匹配较易实现,重点是全文检索

Elasticsearch 的全文检索基于Lucene实现,但是Elasticsearch 全文检索的语法和Lucene并不完全一致

解决方法有两种

1要求产品上所有的Elasticsearch查询变更为标准的lucene语法,之后以统一的语法执行

实现Elasticsearch查询语法,到标准lucene语法的转换

经过验证和攻关,解决了在大数据平台应用lucene并兼容es中文分词器的方案

posted @ 2021-02-28 19:27  cclient  阅读(376)  评论(0编辑  收藏  举报