10 2020 档案

Logstash 参考指南(Kafka输入插件)
摘要:https://segmentfault.com/a/1190000016595992 Logstash 参考指南(Kafka输入插件) Kafka输入插件 插件版本:v8.1.1 发布于:2018-06-01 更新日志 其他版本,请参阅版本化的插件文档。 获取帮助 有关插件的问题,请在讨论论坛中打 阅读全文

posted @ 2020-10-30 09:31 luzhouxiaoshuai 阅读(1971) 评论(0) 推荐(1) 编辑

ELK的一次吞吐量优化
摘要:博客转载自:https://blog.csdn.net/ypc123ypc/article/details/69945031 问题一 最近发现kibana的日志传的很慢,常常查不到日志,由于所有的日志收集都只传输到了一个logstash进行收集和过滤,于是怀疑是否是由于logstash的吞吐量存在瓶 阅读全文

posted @ 2020-10-28 10:43 luzhouxiaoshuai 阅读(442) 评论(0) 推荐(0) 编辑

logstash中将kafka数据直接存储到es中
摘要:转载自:https://help.aliyun.com/document_detail/169275.html 将消息队列Kafka版接入阿里云Elasticsearch 更新时间:2020-07-21 16:33:50 编辑我的收藏 本页目录 前提条件 背景信息 步骤一:获取VPC环境接入点 步骤 阅读全文

posted @ 2020-10-22 14:30 luzhouxiaoshuai 阅读(2643) 评论(0) 推荐(0) 编辑

详细解析 kafka manager 的使用
摘要:转载自博客:https://www.jianshu.com/p/6a592d558812 感谢原作者 添加集群 常用参数说明 下面已常用的选项作说明 kafka-manager-cluster3.png Enable JMX Polling 是否开启 JMX 轮训,该部分直接影响部分 kafka b 阅读全文

posted @ 2020-10-22 14:03 luzhouxiaoshuai 阅读(1226) 评论(0) 推荐(0) 编辑

zookeeper运维与监控
摘要:https://www.jianshu.com/p/28da7e4a97dc 1、数据与日志清理工具 (1) 开启参数自动清理 autopurge.snapRetainCount=3 autopurge.purgeInterval=1 两个参数同时开启,zk会在每一个小时清理一次,并且只保存3个sn 阅读全文

posted @ 2020-10-21 10:30 luzhouxiaoshuai 阅读(787) 评论(0) 推荐(0) 编辑

索引生命周期的管理
摘要:测试代码 接下来创建索引模板 PUT _cluster/settings { "persistent": { "indices.lifecycle.poll_interval":"1s" } } PUT /_ilm/policy/nginx_ilm_policy { "policy": { "pha 阅读全文

posted @ 2020-10-20 08:03 luzhouxiaoshuai 阅读(209) 评论(0) 推荐(0) 编辑

kibana软件具体参数配置信息
摘要:https://www.elastic.co/guide/cn/kibana/current/settings.html Kibana server 启动时从 kibana.yml 文件中读取配置属性。Kibana 默认配置 localhost:5601 。改变主机和端口号,或者连接其他机器上的 E 阅读全文

posted @ 2020-10-19 16:09 luzhouxiaoshuai 阅读(171) 评论(0) 推荐(0) 编辑

es机器监控x-pack导致的监控存储过大的问题
摘要:https://blog.csdn.net/qq_36317804/article/details/103288642 最近发现磁盘的占用率趋高,打开可视化工具head查看了之后发现,es实例中生成了好多类似monitoring-es-6-2019.11.27这个的节点。 ##查询集群总的磁盘使用情 阅读全文

posted @ 2020-10-19 14:25 luzhouxiaoshuai 阅读(1625) 评论(0) 推荐(0) 编辑

elasticSearch 集群通过脚本进行启停
摘要:#!/bin/bash echo "start " hosts=("hadoop01" "hadoop02" "hadoop03") for host in ${hosts[@]} do ssh hadoop@$host << EOF cd ~/app/elasticsearch/bin ./ela 阅读全文

posted @ 2020-10-16 15:11 luzhouxiaoshuai 阅读(466) 评论(0) 推荐(0) 编辑

elasticsearch使用G1垃圾回收器进行优化
该文被密码保护。

posted @ 2020-10-16 14:20 luzhouxiaoshuai 阅读(0) 评论(0) 推荐(0) 编辑

elasticsearch-sql插件的使用
摘要:elasticsearch-sql插件使用 1、2,elasticsearch-sql安装: 第一安装:当前的es版本如果是6.8.10,你要去下载es的sql插件版本也是6.8.10 2.根据es版本下载相应的es-sqlhttps://github.com/NLPchina/elasticsea 阅读全文

posted @ 2020-10-15 14:52 luzhouxiaoshuai 阅读(1601) 评论(1) 推荐(0) 编辑

详细解析 kafka manager 的使用
摘要:转载自:https://www.jianshu.com/p/6a592d558812 介绍的相当的清楚 添加集群 常用参数说明 下面已常用的选项作说明 kafka-manager-cluster3.png Enable JMX Polling 是否开启 JMX 轮训,该部分直接影响部分 kafka 阅读全文

posted @ 2020-10-14 15:11 luzhouxiaoshuai 阅读(591) 评论(0) 推荐(0) 编辑

kafka中Preferred Leader设置
摘要:https://www.pianshen.com/article/12231023160/ https://www.pianshen.com/article/12231023160/ broker重启后可能会有异常,比如Preferred Leader由true变为flase 在创建一个topic时 阅读全文

posted @ 2020-10-14 11:37 luzhouxiaoshuai 阅读(3346) 评论(0) 推荐(0) 编辑

kafka 扩容 与 partitions 增加
摘要:https://www.99ya.net/archives/517 kafka 扩容 与 partitions 增加 kafka 扩容 * kafka的扩容难点:1)主要在于增加机器之后,数据需要rebalance到新增的空闲节点,即把partitions迁移到空闲机器上。kafka提供了bin/k 阅读全文

posted @ 2020-10-14 11:23 luzhouxiaoshuai 阅读(5954) 评论(0) 推荐(1) 编辑

Linux免密码登录
摘要:http://blog.chinaunix.net/uid-26557245-id-3756703.html 使用下例中ssky-keygen和ssh-copy-id,仅需通过3个步骤的简单设置而无需输入密码就能登录远程Linux主机。ssh-keygen 创建公钥和密钥。ssh-copy-id 把 阅读全文

posted @ 2020-10-13 15:14 luzhouxiaoshuai 阅读(127) 评论(0) 推荐(0) 编辑

Kafka开启JMX 通过jconsole进行监控
摘要:通过JMX自定义监控 kafka开启JMX 通过JMX监控可以看到的数据有: broker数据指标 topic数据指标 每个partition的数据指标 consumer消费滞后情况等。 方法一 Kafka开启JMX 要启用JMX关键在于对变量$JMX_PORT赋值,直接在kafka启动脚本kafk 阅读全文

posted @ 2020-10-12 19:38 luzhouxiaoshuai 阅读(1228) 评论(0) 推荐(0) 编辑

Kafka Manager的使用
摘要:https://cloud.tencent.com/developer/article/1673474 Kafka Manager是 Yahoo 推出的 Kafka 开源管理工具,用于管理Apache Kafka集群的工具,用户可以在Web界面执行一些简单的Kafka集群管理操作 Kafka Man 阅读全文

posted @ 2020-10-12 19:35 luzhouxiaoshuai 阅读(1812) 评论(0) 推荐(0) 编辑

ElasticSearch doc_values、index以及_source测试
摘要:https://www.jianshu.com/p/33cb5c9a6903 测试index、doc_values以及_source的作用template { "order": 0, "index_patterns": [ "baiyxtest*" ], "settings": { "index": 阅读全文

posted @ 2020-10-10 09:23 luzhouxiaoshuai 阅读(513) 评论(0) 推荐(0) 编辑

es集群的调优2
摘要:1、es的内存千万不能低于8G 2、机器尽量内存不能大于64G,生产上面尽量elk设置内存大小为64G 4 cpu核心数目要求没有那样高,8核或者16核都可以 这里要介绍下磁盘阵列 Raid0 之前有部电影是300G,之前是将这300G直接写入到一个600G的磁盘ssd上面 现在有3个200G的ss 阅读全文

posted @ 2020-10-07 15:42 luzhouxiaoshuai 阅读(2040) 评论(0) 推荐(0) 编辑

导航

点击右上角即可分享
微信分享提示