随笔分类 - elasticsearch
摘要：es和spark的集成比较简单, 直接使用内部封装的一些方法即可 版本设置说明: https://www.elastic.co/guide/en/elasticsearch/hadoop/current/requirements.html maven依赖说明: https://www.elastic
阅读全文
摘要：1, 版本匹配: https://www.elastic.co/guide/en/elasticsearch/hadoop/current/requirements.html 2, maven集成: https://www.elastic.co/guide/en/elasticsearch/hado
阅读全文
摘要：说实话, java的方式太繁琐, 不如直接使用DSL进行创建 1, create 2, delete 3, exists 4, mapping 还是原DSL好用
阅读全文
摘要：在6.x以前, 使用最多的是transportclient, 但在7.x会被废弃, 先说以前的创建方式: 具体可见: https://www.cnblogs.com/wenbronk/p/6383194.html 最新的创建方式: 新的客户端, 对异步的处理方式和以前基本相同 1), index 2
阅读全文
摘要：5.x以后, es对head插件的支持并不是特别好 而且kibana的功能越来越强大, 建议使用kibana 1, head插件安装 在一台机器上安装head插件就可以了 1), 更新,安装依赖 2), 安装npm 3), github 地址 4), 安装 5) docker的安装方式: 目前只支持
阅读全文
摘要：最近因为工作需要, 又使用到了es, 版本已经从当年的2.4 更新到了6.3 基本上解压即用, elasticsearch 5.x 版本, 在 centos6下, 很多性能不能够发挥, 建议 centos 7+ 使用, 需要jdk1.8+ 1, es 修改配置文件, 注意, 不能使用root用户 集
阅读全文
摘要：以下操作在kibana中进行, 如果在linux的shell中, 请使用 curl -Xget 'http://node1:9200/index/type/id' -d '{ ... }' 的形式, 其中 -d 是传参 1, 获取集群状态 1), 查看健康状况: 2), 查看节点: 2, index
阅读全文
摘要：1, 基于lucene的实时搜索软件 分布式的restful风格的搜索和数据分析引擎, 2, 和kibana, logstash 构成 elk生态圈 es: 数据存储和查询 kibana: 可视化 logstash: 收集数据 beats: 数据采集, 轻量级的, 想logstash和es发送数据
阅读全文
摘要：mapping和setting, 使用java客户端比较难组装, 可以使用python或者scala 这儿直接在kibana中进行DSL创建 1, mapping 创建索引的时候, 可以事先对数据进行定义, 告诉es如果索引数据并被搜索 实际上, es会猜测原数据并判断, 但对一些特俗的字段, 需要
阅读全文
摘要：把Nginx日志的格式输出成JSON格式展示在Kibana面板，生产环境中基本都是这么使用。 1, 配置nginx 主要修改nginx的访问日志格式，这里定义成json格式，以便后面logstash更好的处理，建议生产环境也这样使用。在主配置/etc/nginx/nginx.conf文件中添加如下内
阅读全文
摘要：logstash logstash是什么呢, 他是一个数据管道, JRuby编写的运行在java虚拟机的具有收集, 分析和转发数据流功能的工具 特性: 安装 1), wget下载 2), 解压即安装 3), 测试下: 然后可以输入hello, 回车后给你返回 要等一会, 刚开始还以为没启动呢 然后输
阅读全文
摘要：配置语法: Logstash必须有一个 input 和一个 output 1, 处理输入的input 1), 从文件录入 logstash使用一个名为 filewatch的 ruby gem库来监听文件变化, 这个库记录一个 .sincedb的数据文件跟踪监听日志文件的当前位置 其他配置 2) 标准
阅读全文
摘要：filebeat 直接到logstash, 由于logstash的设计问题, 可能会出现阻塞问题, 因为中间使用消息队列分开 可以使用redis, 或者kafka, 这儿使用的是kafka 1, 安装 kafka的安装, 解压可用, 但需要zookeeper, 内置了一个zookeeper, 直接使
阅读全文
摘要：之前测试 filebeat和logstash的时候, 使用的是stdout标准输出, 现在我们想把数据输出到es中去, 1, 首先需要一个es: 修改配置文件 后台启动 2, 修改logstash的输出 并重启: 3, 数据查看借助kibana 修改配置 启动 浏览器访问 www.wenbronk.
阅读全文
摘要：类似flume, 但功能更为强大 Filebeat是一个日志文件托运工具，在你的服务器上安装客户端后，filebeat会监控日志目录或者指定的日志文件，追踪读取这些文件（追踪文件的变化，不停的读），并且转发这些信息到elasticsearch或者logstarsh中存放。 当你开启filebeat程
阅读全文
摘要：/** * vm12下的centos7.2 * elasticsearch 5.2.2 */ 有时在淘宝搜索商品的时候, 会发现使用汉字, 拼音, 或者拼音混合汉字都会出来想要的搜索结果, 今天找了一下, 是通过拼音搜索插件实现的: 1), ik的安装之前已经讲过, 不在赘述 2), es2.4版本
阅读全文
摘要：我们看到的图形, 实际是由点来完成的, 有2种类型的格子模型可用于地理星座, 默认使用的是geoHash, 还有一种4叉树(quad trees), 也可用于 判断形状与索引的形状关系 1), intersects: 查询的形状与索引形状有重叠(默认) 2), disjoint: 查询的形状与索引的
阅读全文
摘要：elasticsearch 中的地理信息存储, 有geo_point形式和geo_shape两种形式 此篇只叙述geo_point, 地理位置需要声明为特殊的类型, 不显示在mapping中定义的话, 需要 如果仍然要显示的在mapping中定义, 则需要将其声明为 geo_point格式 es的类
阅读全文
摘要：由于es5.2版本对head的插件支持不如2.4 安装挺麻烦, 于是选用kibana 关于5.2安装head插件可见这个博客 1, 下载并解压kibana 2, 修改./conf/kibana.yml 3, 多说一点, 5.0之后kibana的配置发生了变化, 之前需要的Marvel, sense都
阅读全文
摘要：/** * 系统环境: vm12 下的centos 7.2 * 当前安装版本: elasticsearch-2.4.0.tar.gz */ QueryBuilder 是es中提供的一个查询接口, 可以对其进行参数设置来进行查用擦还训
阅读全文
