摘要: es和spark的集成比较简单, 直接使用内部封装的一些方法即可 版本设置说明: https://www.elastic.co/guide/en/elasticsearch/hadoop/current/requirements.html maven依赖说明: https://www.elastic 阅读全文
posted @ 2018-08-02 13:39 bronk 阅读(1456) 评论(0) 推荐(0) 编辑
摘要: 1, 版本匹配: https://www.elastic.co/guide/en/elasticsearch/hadoop/current/requirements.html 2, maven集成: https://www.elastic.co/guide/en/elasticsearch/hado 阅读全文
posted @ 2018-08-02 13:33 bronk 阅读(975) 评论(0) 推荐(1) 编辑
摘要: 在6.x以前, 使用最多的是transportclient, 但在7.x会被废弃, 先说以前的创建方式: 具体可见: https://www.cnblogs.com/wenbronk/p/6383194.html 最新的创建方式: 新的客户端, 对异步的处理方式和以前基本相同 1), index 2 阅读全文
posted @ 2018-08-02 13:32 bronk 阅读(4840) 评论(3) 推荐(0) 编辑
摘要: 说实话, java的方式太繁琐, 不如直接使用DSL进行创建 1, create 2, delete 3, exists 4, mapping 还是原DSL好用 阅读全文
posted @ 2018-08-02 13:32 bronk 阅读(4603) 评论(0) 推荐(0) 编辑
摘要: 5.x以后, es对head插件的支持并不是特别好 而且kibana的功能越来越强大, 建议使用kibana 1, head插件安装 在一台机器上安装head插件就可以了 1), 更新,安装依赖 2), 安装npm 3), github 地址 4), 安装 5) docker的安装方式: 目前只支持 阅读全文
posted @ 2018-08-02 13:32 bronk 阅读(1088) 评论(0) 推荐(0) 编辑
摘要: 1, 基于lucene的实时搜索软件 分布式的restful风格的搜索和数据分析引擎, 2, 和kibana, logstash 构成 elk生态圈 es: 数据存储和查询 kibana: 可视化 logstash: 收集数据 beats: 数据采集, 轻量级的, 想logstash和es发送数据 阅读全文
posted @ 2018-08-02 13:31 bronk 阅读(464) 评论(0) 推荐(0) 编辑
摘要: 最近因为工作需要, 又使用到了es, 版本已经从当年的2.4 更新到了6.3 基本上解压即用, elasticsearch 5.x 版本, 在 centos6下, 很多性能不能够发挥, 建议 centos 7+ 使用, 需要jdk1.8+ 1, es 修改配置文件, 注意, 不能使用root用户 集 阅读全文
posted @ 2018-08-02 13:31 bronk 阅读(877) 评论(0) 推荐(0) 编辑
摘要: 以下操作在kibana中进行, 如果在linux的shell中, 请使用 curl -Xget 'http://node1:9200/index/type/id' -d '{ ... }' 的形式, 其中 -d 是传参 1, 获取集群状态 1), 查看健康状况: 2), 查看节点: 2, index 阅读全文
posted @ 2018-08-02 13:31 bronk 阅读(2484) 评论(0) 推荐(0) 编辑
摘要: mapping和setting, 使用java客户端比较难组装, 可以使用python或者scala 这儿直接在kibana中进行DSL创建 1, mapping 创建索引的时候, 可以事先对数据进行定义, 告诉es如果索引数据并被搜索 实际上, es会猜测原数据并判断, 但对一些特俗的字段, 需要 阅读全文
posted @ 2018-08-02 13:31 bronk 阅读(5133) 评论(0) 推荐(0) 编辑