摘要:
1, BufferSize_machine 1), template 主要用来监控buffersize的状态的 name: 模块名字, 用于后续调取使用, label: 模块显示名字, 在页面显示的 includeAll: 是否包含 all 按钮 query: 查询的sql语句, 由于模版一致, 所 阅读全文
摘要:
1, 基本概念 在互联网技术发展到现今阶段,大量日常、工作等事务产生的数据都已经信息化,人类产生的数据量相比以前有了爆炸式的增长,以前的传统的数据处理技术已经无法胜任,需求催生技术,一套用来处理海量数据的软件工具应运而生,这就是大数据! 换个角度说,大数据是: 1、有海量的数据 2、有对海量数据进行 阅读全文
摘要:
1, 电脑环境准备 1), 关闭selinux 2), 时间同步 修改时间服务器配置, 并重启 修改需要同步的服务器配置, 并重启 执行时间同步 查看时间同步: 3), 修改hostname, 很多集群都需要执行这一个 4), jdk 版本 java -version 1.8.0_161 5), 设 阅读全文
摘要:
es和spark的集成比较简单, 直接使用内部封装的一些方法即可 版本设置说明: https://www.elastic.co/guide/en/elasticsearch/hadoop/current/requirements.html maven依赖说明: https://www.elastic 阅读全文
摘要:
1, 版本匹配: https://www.elastic.co/guide/en/elasticsearch/hadoop/current/requirements.html 2, maven集成: https://www.elastic.co/guide/en/elasticsearch/hado 阅读全文
摘要:
在6.x以前, 使用最多的是transportclient, 但在7.x会被废弃, 先说以前的创建方式: 具体可见: https://www.cnblogs.com/wenbronk/p/6383194.html 最新的创建方式: 新的客户端, 对异步的处理方式和以前基本相同 1), index 2 阅读全文
摘要:
说实话, java的方式太繁琐, 不如直接使用DSL进行创建 1, create 2, delete 3, exists 4, mapping 还是原DSL好用 阅读全文
摘要:
5.x以后, es对head插件的支持并不是特别好 而且kibana的功能越来越强大, 建议使用kibana 1, head插件安装 在一台机器上安装head插件就可以了 1), 更新,安装依赖 2), 安装npm 3), github 地址 4), 安装 5) docker的安装方式: 目前只支持 阅读全文
摘要:
1, 基于lucene的实时搜索软件 分布式的restful风格的搜索和数据分析引擎, 2, 和kibana, logstash 构成 elk生态圈 es: 数据存储和查询 kibana: 可视化 logstash: 收集数据 beats: 数据采集, 轻量级的, 想logstash和es发送数据 阅读全文
摘要:
最近因为工作需要, 又使用到了es, 版本已经从当年的2.4 更新到了6.3 基本上解压即用, elasticsearch 5.x 版本, 在 centos6下, 很多性能不能够发挥, 建议 centos 7+ 使用, 需要jdk1.8+ 1, es 修改配置文件, 注意, 不能使用root用户 集 阅读全文