随笔分类 -  ElasticSearch

基于百度地图SDK和Elasticsearch GEO查询的地理围栏分析系统（2）-查询实现
摘要：在上一篇博客中，我们准备好了数据。现在数据已经以我们需要的格式，存放在Elasticsearch中了。 本文讲述如何在Elasticsearch中进行空间GEO查询和聚合查询，以及如何准备ajax接口。 平台的服务端部分使用的springboot+mybatis的基本开发模式。工程结构如下。 可以看 阅读全文
posted @ 2018-02-01 15:20 扎心了老铁 阅读(3652) 评论(1) 推荐(3) 编辑
Elasticsearch强制重置未分配的分片(unassigned)
摘要：强制重置未分片的分片，这个问题源自于Elasticsearch维护中，Node意外退出的场景。 意外退出后Elasticsearch由于网络原因或者jvm性能压力，未能短时间内分配分片。 看一下分片的状态。可以看到有一些分片处于未分配状态。 我们这里是node-client09节点挂掉了，重启这个节 阅读全文
posted @ 2017-12-19 15:30 扎心了老铁 阅读(3045) 评论(0) 推荐(2) 编辑
基于百度地图SDK和Elasticsearch GEO查询的地理围栏分析系统（1）-数据准备
摘要：本文描述了一个系统，功能是评价和抽象地理围栏(Geo-fencing)，以及监控和分析核心地理围栏中业务的表现。 技术栈：Spring-JQuery-百度地图WEB SDK 存储：Hive-Elasticsearch-MySQL-Redis 什么是地理围栏？ LBS系统中，地理围栏指的是虚拟边界围成 阅读全文
posted @ 2017-12-16 21:43 扎心了老铁 阅读(2598) 评论(1) 推荐(1) 编辑
Elasticsearch JAVA api轻松搞定groupBy聚合
摘要：本文给出如何使用Elasticsearch的Java API做类似SQL的group by聚合。 为了简单起见，只给出一级groupby即group by field1(而不涉及到多级，例如group by field1, field2, ...)；如果你需要多级的groupby，在实现上可能需要拆 阅读全文
posted @ 2017-12-13 18:05 扎心了老铁 阅读(28755) 评论(3) 推荐(3) 编辑
Elasticsearch索引别名、Filtered索引别名、Template
摘要：在使用elasticsearch的时候，经常会遇到需要淘汰掉历史数据的场景。 为了方便数据淘汰，并使得数据管理更加灵活，我们经常会以时间为粒度建立索引，例如： 每个月建立一个索引：monthly-201709、monthly-201710、monthly-201711 每天建立一个索引：daily- 阅读全文
posted @ 2017-11-02 11:01 扎心了老铁 阅读(6539) 评论(0) 推荐(0) 编辑
Elasticsearch分片、副本与路由(shard replica routing)
摘要：本文讲述，如何理解Elasticsearch的分片、副本和路由策略。 1、预备知识 1）分片（shard） Elasticsearch集群允许系统存储的数据量超过单机容量，实现这一目标引入分片策略shard。在一个索引index中，数据（document）被分片处理（sharding）到多个分片上。 阅读全文
posted @ 2017-10-03 13:28 扎心了老铁 阅读(14020) 评论(0) 推荐(2) 编辑
EsRejectedExecutionException排错与线程池类型
摘要：1、EsRejectedExecutionException异常示例 2、EsRejectedExecutionException异常解释 EsRejectedExecutionException异常，从字面意思上看是ES拒绝执行请求。这个异常的触发场景如下。 使用Elasticsearch的时候， 阅读全文
posted @ 2017-10-02 18:24 扎心了老铁 阅读(12566) 评论(1) 推荐(0) 编辑
Elasticsearch-sql 用SQL查询Elasticsearch
摘要：Elasticsearch的查询语言(DSL)真是不好写，偏偏查询的功能千奇百怪，filter/query/match/agg/geo各种各样，不管你是通过封装JSON还是通过python/java的api进行封装，都非常不方便。 最近发现了一个插件，Elasticsearch-SQL可以用sql查 阅读全文
posted @ 2017-08-02 13:49 扎心了老铁 阅读(80180) 评论(8) 推荐(2) 编辑
elasticsearch的映射(mapping)和分析(analysis)
摘要：转发自：http://blog.csdn.net/hzrandd/article/details/47128895 分析和分析器 分析(analysis)是这样一个过程： 首先，表征化一个文本块为适用于倒排索引单独的词(term) 然后标准化这些词为标准形式，提高它们的“可搜索性”或“查全率” 这个 阅读全文
posted @ 2017-07-08 16:36 扎心了老铁 阅读(2053) 评论(0) 推荐(2) 编辑
java优雅的使用elasticsearch api
摘要：本文给出一种优雅的拼装elasticsearch查询的方式，可能会使得使用elasticsearch的方式变得优雅起来，使得代码结构很清晰易读。 建立elasticsearch连接部分请参看另一篇博客：http://www.cnblogs.com/kangoroo/p/7127003.html 1、 阅读全文
posted @ 2017-07-08 14:42 扎心了老铁 阅读(2080) 评论(0) 推荐(0) 编辑
java通过shield链接Elasticsearch
摘要：本文mark了springboot中集成elasticsearch，并且实现连接带有shield权限管理的elasticsearch的方法。 tips:首先建议java client版本和elasticsearch版本一致。不然可能会出现各种问题。 1、首先在pom中加入如下依赖 2、其次编写ESC 阅读全文
posted @ 2017-07-06 16:27 扎心了老铁 阅读(2217) 评论(0) 推荐(0) 编辑
ELK日志收集分析系统配置
摘要：ELK是日志收益与分析的利器。 1、elasticsearch集群搭建 略 2、logstash日志收集 我这里的实现分如下2步，中间用redis队列做缓冲，可以有效的避免es压力过大： 1、n个agent对n个服务的log做日志收集(1对1的方式)，从日志文件解析数据，存入broker，这里用的是 阅读全文
posted @ 2016-11-11 12:43 扎心了老铁 阅读(798) 评论(0) 推荐(0) 编辑
Elasticsearch(GEO)空间检索查询
摘要：Elasticsearch(GEO)空间检索查询python版本 1、Elasticsearch ES的强大就不用多说了，当你安装上插件，搭建好集群，你就拥有了一个搜索系统。 当然，ES的集群优化和查询优化就是另外一个议题了。这里mark一个最近使用的es空间检索的功能。 2、ES GEO空间检索 阅读全文
posted @ 2016-11-10 14:07 扎心了老铁 阅读(18573) 评论(3) 推荐(0) 编辑