曹伟雄

摘要： 【问题描述】 在持续批量写入HBase的情况下，出现了Dead Region Servers的情况。集群会把dead掉节点上的region自动分发到另外2个节点上，集群还能继续运行，只是少了1个节点。 【解决方案】 重启HBase集群，dead掉的那个节点又恢复正常了。集群又会重新分配region到 阅读全文

摘要： 1.准备 JDK：1.8版本及以上； Kibana：6.2.4版本； 2.安装 2.1.下载解压 wget https://artifacts.elastic.co/downloads/kibana/kibana-6.2.4-linux-x86_64.tar.gz mkdir /opt/elk/ki 阅读全文

摘要： 1.准备 1.1.组件 JDK：1.8版本及以上； ElasticSearch：6.2.4版本； 1.2.服务器 3台服务器 2.安装 2.1.下载解压 wget https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-6 阅读全文

摘要： 前言 本篇只介绍 TCP模式 下详细的canal相关配置。 高可用 请参考文章：【Canal——高可用架构设计与应用】 Kafka模式 请参考文章：【Canal——canal server 读取 binlog 到 kafka 然后在使用 canal-adapter】 1.准备 1.1.组件 JDK： 阅读全文

摘要： Canal简介 Canal是阿里开源的一款基于Mysql数据库binlog的增量订阅和消费组件，通过它可以订阅数据库的binlog日志，然后进行一些数据消费，如数据镜像、数据异构、数据索引、缓存更新等。相对于消息队列，通过这种机制可以实现数据的有序化和一致性。 github地址：https://gi 阅读全文

摘要： 新建Item： 源码配置： 构建环境配置： #!/usr/bin/bash source /etc/profile tomcat_home="/home/mppay/apache-tomcat-8.5.40-monitor/" folder="/opt/backup" uploadfolder="/ 阅读全文

摘要： 1、某一天出现Kafka堆积大量未消费的记录： 2、该主题是用logstash进行消费的，然后查询logstash的日志（logstash/logs/logstash-plain.log），出现以下提示信息： 3、从上述日志可以看出，是输出到elasticsearch阻塞了，原因是相应的索引变成re 阅读全文

摘要： 查看版本：show variables like '%version%' 或者 select version() 是否开启binlog：show variables like 'log_bin' binlog格式：show variables like 'binlog_format' 查看binlo 阅读全文

摘要： 集群相关 --查询集群健康状态 GET _cluster/health --查询所有节点 GET _cat/nodes --查询索引及分片的分布 GET _cat/shards--查询指定索引分片的分布GET _cat/shards/order_stpprdinf_2019-12?v --查询所有插 阅读全文

摘要： output中配置 elasticsearch{ action => "index" hosts => ["xxx"] index => "http-log-logstash" document_type => "logs" template => "opt/http-logstash.json" 阅读全文