ELK - 随笔分类 - 熊哥club

ClickHouse与ES的优劣对比

摘要：优点： ClickHouse写入吞吐量大，单服务器日志写入量在50MB到200MB/s，每秒写入超过60w记录数，是ES的5倍以上。查询速度快，官方宣称数据在pagecache中，单服务器查询速率大约在2-30GB/s；没在pagecache的情况下，查询速度取决于磁盘的读取速率和数据的压缩率。。阅读全文

posted @ 2021-08-04 20:47 熊哥club 阅读(15007) 评论(5) 推荐(3) 编辑

Elasticsearch删除数据操作，你必须知道的一些坑

摘要：前两天有同事打电话问我，说ES删除数据有没有什么坑？我当时就问，是删索引还是删索引里的数据？她回答说是删数据，我说查出这些数据直接删除就好了，没有什么坑。。。后来想想，关于ES数据的删除，之前确实遇到过很多删除场景，如果真要说有没有所谓的坑，细想一下，还真有。我维护过的ES集群最大规模是180 阅读全文

posted @ 2019-11-29 17:27 熊哥club 阅读(37818) 评论(1) 推荐(1) 编辑

Kafka集群扩展以及重新分布分区

摘要：我们往已经部署好的Kafka集群里面添加机器是最正常不过的需求，而且添加起来非常地方便，我们需要做的事是从已经部署好的Kafka节点中复制相应的配置文件，然后把里面的broker id修改成全局唯一的，最后启动这个节点即可将它加入到现有Kafka集群中。但是问题来了，新添加的Kafka节点并不会自阅读全文

posted @ 2018-07-30 13:07 熊哥club 阅读(6866) 评论(0) 推荐(0) 编辑

zabbix配合脚本监控Kafka

摘要：简介： Kafka是一种高吞吐量的分布式发布订阅消息系统，它可以处理消费者规模的网站中的所有动作流数据。Kafka如下特性，受到诸多公司的青睐。 1、高吞吐量：即使是非常普通的硬件Kafka也可以支持每秒数百万的消息(核心目标之一)。 2、支持通过Kafka服务器和消费机集群来分区消息 ………… 场阅读全文

posted @ 2018-05-25 10:34 熊哥club 阅读(7950) 评论(3) 推荐(1) 编辑

用strings命令查看kafka-log内容过滤二进制编码

摘要：kafka的log内容格式还不没怎么了解，想快速浏览消息内容的话，除了使用它自带的kafka-console-consumer.sh脚本，还可以直接去看log文件本身，不过内容里有部分二进制字符，通过命令看的话会有乱码。 strings 命令可以过滤掉二进制编码，但默认它也会过滤掉中文字符，只留有英阅读全文

posted @ 2018-05-21 12:17 熊哥club 阅读(1624) 评论(0) 推荐(0) 编辑

docker容器中搭建kafka集群环境

摘要：Kafka集群管理、状态保存是通过zookeeper实现，所以先要搭建zookeeper集群 zookeeper集群搭建一、软件环境： zookeeper集群需要超过半数的的node存活才能对外服务，所以服务器的数量应该是2*N+1，这里使用3台node进行搭建zookeeper集群。 1. 3台阅读全文

posted @ 2018-05-11 13:58 熊哥club 阅读(6823) 评论(0) 推荐(2) 编辑

Elasticsearch究竟要设置多少分片数？

摘要：0、引言本文翻译自Elasticsearch20170918热乎的官方博客，原作者：Christian Dahlqvist。在构建Elasticsearch集群的初期如果集群分片设置不合理，可能在项目的中后期就会出现性能问题。 Elasticsearch是一个非常通用的平台，支持各种各样的用例，阅读全文

posted @ 2018-04-20 11:14 熊哥club 阅读(6820) 评论(0) 推荐(1) 编辑

elasticsearch 基础知识汇总

摘要：索引分片：从策略层面，控制分片分配的选择磁盘限额为了保护节点数据安全，ES 会定时(cluster.info.update.interval，默认 30 秒)检查一下各节点的数据目录磁盘使用情况。在达到 cluster.routing.allocation.disk.watermark.low 阅读全文

posted @ 2018-03-05 15:19 熊哥club 阅读(2509) 评论(0) 推荐(1) 编辑

ES磁盘分配不均问题

摘要：近es集群磁盘空间告警，日志又没地方可以迁移，然后申请了新的服务器，一次性加入8台新的服务器新增了32个新的数据节点，至此，我们的主集群已经到达85个数据节点的规模，整个集群数据已达到PB级别，终于可以跟别人炫耀我是做大数据的了。O(∩_∩)O哈哈~ 但是随着集群节点的不断壮大，问题也随之而来，刚阅读全文

posted @ 2018-03-05 11:37 熊哥club 阅读(6679) 评论(0) 推荐(0) 编辑

elasticsearch-5.1.1使用snapshot接口备份索引

摘要：如果ES是集群，那么需要使用共享存储，支持的存储有：a、shared file systemb、S3c、HDFS 我使用的是第一种，NFS共享文件系统。这里要说一下权限问题，ES一般是使用 elasticsearch 用户启动的，要保证共享目录对 elasticsearch 用户有读写权限，要不然创阅读全文

posted @ 2018-02-05 13:54 熊哥club 阅读(684) 评论(0) 推荐(0) 编辑

filebeat.yml（中文配置详解）

摘要：################### Filebeat Configuration Example ######################### ############################# Filebeat ###################################### filebeat: # List of prospectors to fetch ... 阅读全文

posted @ 2018-01-30 16:49 熊哥club 阅读(4511) 评论(0) 推荐(0) 编辑

elasticsearch分词器Jcseg安装手册

摘要：Jcseg是什么？ Jcseg是什么？ Jcseg是基于mmseg算法的一个轻量级中文分词器，同时集成了关键字提取，关键短语提取，关键句子提取和文章自动摘要等功能，并且提供了一个基于Jetty的web服务器，方便各大语言直接http调用，同时提供了最新版本的lucene, solr, elastic 阅读全文

posted @ 2017-12-05 10:01 熊哥club 阅读(801) 评论(0) 推荐(0) 编辑

开启了1000个线程并发去查询elasticsearch把es搞挂了

摘要：记得好像ES默认线程池配置是1000，然后我开启了1000个线程去查询。直接es集群就挂了。。呵呵阅读全文

posted @ 2017-12-05 09:56 熊哥club 阅读(14458) 评论(0) 推荐(0) 编辑

ElasticSearch AggregationBuilders java api常用聚会查询

摘要：以球员信息为例，player索引的player type包含5个字段，姓名，年龄，薪水，球队，场上位置。index的mapping为：索引中的全部数据：首先，初始化Builder：接下来举例说明各种聚合操作的实现方法，因为在es的api中，多字段上的聚合操作需要用到子聚合(subAggrega 阅读全文

posted @ 2017-12-04 10:40 熊哥club 阅读(58050) 评论(5) 推荐(18) 编辑