摘要:https://segmentfault.com/a/1190000016595992 Logstash 参考指南(Kafka输入插件) Kafka输入插件 插件版本:v8.1.1 发布于:2018-06-01 更新日志 其他版本,请参阅版本化的插件文档。 获取帮助 有关插件的问题,请在讨论论坛中打
阅读全文
摘要:博客转载自:https://blog.csdn.net/ypc123ypc/article/details/69945031 问题一 最近发现kibana的日志传的很慢,常常查不到日志,由于所有的日志收集都只传输到了一个logstash进行收集和过滤,于是怀疑是否是由于logstash的吞吐量存在瓶
阅读全文
摘要:转载自:https://help.aliyun.com/document_detail/169275.html 将消息队列Kafka版接入阿里云Elasticsearch 更新时间:2020-07-21 16:33:50 编辑我的收藏 本页目录 前提条件 背景信息 步骤一:获取VPC环境接入点 步骤
阅读全文
摘要:转载自博客:https://www.jianshu.com/p/6a592d558812 感谢原作者 添加集群 常用参数说明 下面已常用的选项作说明 kafka-manager-cluster3.png Enable JMX Polling 是否开启 JMX 轮训,该部分直接影响部分 kafka b
阅读全文
摘要:https://www.jianshu.com/p/28da7e4a97dc 1、数据与日志清理工具 (1) 开启参数自动清理 autopurge.snapRetainCount=3 autopurge.purgeInterval=1 两个参数同时开启,zk会在每一个小时清理一次,并且只保存3个sn
阅读全文
摘要:测试代码 接下来创建索引模板 PUT _cluster/settings { "persistent": { "indices.lifecycle.poll_interval":"1s" } } PUT /_ilm/policy/nginx_ilm_policy { "policy": { "pha
阅读全文
摘要:https://www.elastic.co/guide/cn/kibana/current/settings.html Kibana server 启动时从 kibana.yml 文件中读取配置属性。Kibana 默认配置 localhost:5601 。改变主机和端口号,或者连接其他机器上的 E
阅读全文
摘要:https://blog.csdn.net/qq_36317804/article/details/103288642 最近发现磁盘的占用率趋高,打开可视化工具head查看了之后发现,es实例中生成了好多类似monitoring-es-6-2019.11.27这个的节点。 ##查询集群总的磁盘使用情
阅读全文
摘要:#!/bin/bash echo "start " hosts=("hadoop01" "hadoop02" "hadoop03") for host in ${hosts[@]} do ssh hadoop@$host << EOF cd ~/app/elasticsearch/bin ./ela
阅读全文
摘要:elasticsearch-sql插件使用 1、2,elasticsearch-sql安装: 第一安装:当前的es版本如果是6.8.10,你要去下载es的sql插件版本也是6.8.10 2.根据es版本下载相应的es-sqlhttps://github.com/NLPchina/elasticsea
阅读全文
摘要:转载自:https://www.jianshu.com/p/6a592d558812 介绍的相当的清楚 添加集群 常用参数说明 下面已常用的选项作说明 kafka-manager-cluster3.png Enable JMX Polling 是否开启 JMX 轮训,该部分直接影响部分 kafka
阅读全文
摘要:https://www.pianshen.com/article/12231023160/ https://www.pianshen.com/article/12231023160/ broker重启后可能会有异常,比如Preferred Leader由true变为flase 在创建一个topic时
阅读全文
摘要:https://www.99ya.net/archives/517 kafka 扩容 与 partitions 增加 kafka 扩容 * kafka的扩容难点:1)主要在于增加机器之后,数据需要rebalance到新增的空闲节点,即把partitions迁移到空闲机器上。kafka提供了bin/k
阅读全文
摘要:http://blog.chinaunix.net/uid-26557245-id-3756703.html 使用下例中ssky-keygen和ssh-copy-id,仅需通过3个步骤的简单设置而无需输入密码就能登录远程Linux主机。ssh-keygen 创建公钥和密钥。ssh-copy-id 把
阅读全文
摘要:通过JMX自定义监控 kafka开启JMX 通过JMX监控可以看到的数据有: broker数据指标 topic数据指标 每个partition的数据指标 consumer消费滞后情况等。 方法一 Kafka开启JMX 要启用JMX关键在于对变量$JMX_PORT赋值,直接在kafka启动脚本kafk
阅读全文
摘要:https://cloud.tencent.com/developer/article/1673474 Kafka Manager是 Yahoo 推出的 Kafka 开源管理工具,用于管理Apache Kafka集群的工具,用户可以在Web界面执行一些简单的Kafka集群管理操作 Kafka Man
阅读全文
摘要:https://www.jianshu.com/p/33cb5c9a6903 测试index、doc_values以及_source的作用template { "order": 0, "index_patterns": [ "baiyxtest*" ], "settings": { "index":
阅读全文
摘要:1、es的内存千万不能低于8G 2、机器尽量内存不能大于64G,生产上面尽量elk设置内存大小为64G 4 cpu核心数目要求没有那样高,8核或者16核都可以 这里要介绍下磁盘阵列 Raid0 之前有部电影是300G,之前是将这300G直接写入到一个600G的磁盘ssd上面 现在有3个200G的ss
阅读全文