随笔分类 -  ELK/EFK/Solr

摘要:从官网past-releases页面下载 https://www.elastic.co/downloads/past-releases 国内会跳到 https://www.elastic.co/cn/downloads/past-releases 都是一样的 选择产品与版本即可 阅读全文
posted @ 2020-08-06 10:51 东北小狐狸 阅读(283) 评论(0) 推荐(0) 编辑
摘要:之前写ELK部分时有朋友问有没有能一键部署的Kafka+ELK,写本文主要是填这个坑,基本上配置已经集中在一两个文件中了,理论上此配置支持ElasticStack 7.x所有版本 本文所有配置与代码均在本人Github中可以找到: 测试环境 Ubuntu 18.04 LTS Docker 18.09 阅读全文
posted @ 2020-03-17 15:03 东北小狐狸 阅读(1305) 评论(3) 推荐(1) 编辑
摘要:说明 主要用在索引名为 xxxx yyyy.MM.dd 这种,可以自定义修改下边的脚本 删除索引shell 创建 shell !/bin/bash 删除早于十天的ES集群的索引 function delete_indices() { comp_date= date1="$1 00:00:00" da 阅读全文
posted @ 2019-07-19 14:57 东北小狐狸 阅读(2952) 评论(0) 推荐(0) 编辑
摘要:写在前边 今凌晨的时候已经把这整个Docker compose构建的ELK集群跑起来了,有点没熬住,所以早上起来补文档,今天就上到公司测试服务器上测试了,好开森。 本文内容就是红框的部分,只是启动个Kibana实例,通过它来连接es tribe节点来完成连接到Es集群。 本文配置源码参见我的Git仓 阅读全文
posted @ 2019-06-26 10:42 东北小狐狸 阅读(1990) 评论(0) 推荐(0) 编辑
摘要:【拆分版】Docker compose构建Logstash多实例 写在最前 说起Logstash,这个组件并没有什么集群的概念,与其说是集群,不如说是各自去收集日志分析过滤存储到Elasticsearch中。这里做个多实例的Logstash,其实本质上只是为Logstash指定好占用的端口,输入输出 阅读全文
posted @ 2019-06-26 09:58 东北小狐狸 阅读(5480) 评论(3) 推荐(0) 编辑
摘要:写在前边 在搭建Logstash多节点之前,想到就算先搭好Logstash启动会因为日志无法连接到Kafka Brokers而无限重试,所以这里先构建下Zookeeper集群管理的Kafka集群。 众所周知,Zookeeper是一个高效的分布式协调中间件,可以提供配置信息管理、命名、分布式同步(分布 阅读全文
posted @ 2019-06-26 01:44 东北小狐狸 阅读(3072) 评论(3) 推荐(2) 编辑
摘要:写在前边 搞了两三天了,一直有个问题困扰着我,ES集群中配置怎么能正确映射到主机上,这边经常报 原因是容器中的ES节点没有正确的映射到主机上,而且容器内ip是易变的,我该怎么配置呢? 临下班了,终于想到个法子, 固定容器ip——使用network_mode: host 看到主机模式的我眼前一亮,容器 阅读全文
posted @ 2019-06-24 23:38 东北小狐狸 阅读(8935) 评论(5) 推荐(2) 编辑
摘要:写在前边 昨天晚上就已经完成这篇博客了,就是在测试这块是否正常跑起来,晚上没搞完,上班前把电脑关机带着,结果没保存!基本上昨天写的东西都丢了,好在博客园的图片url还在。 为了让大家都轻松些,我轻松写,你轻松看。打算把文章的篇幅缩小,拆分成多个部分,这样更新频率会提高,写起来看起来也不会那么累,也不 阅读全文
posted @ 2019-06-24 14:30 东北小狐狸 阅读(7674) 评论(5) 推荐(0) 编辑
摘要:本文说明 由于最近在搭ELK的日志系统,为了演示方案搭了个单台服务器的日志系统,就是前一篇文章中所记,其实这些笔记已经整理好久了,一直在解决各种问题就没有发出来。在演示过程中我提到了两个方案,其中之一来自于 "【原创】分布式之elk日志架构的演进" 一文中的中级版,另一自然是使用日志直接输出到Kaf 阅读全文
posted @ 2019-06-20 18:56 东北小狐狸 阅读(2670) 评论(8) 推荐(2) 编辑
摘要:ELK是什么? 一般来说,为了提高服务可用性,服务器需要部署多个实例,每个实例都是负载均衡转发的后的,如果还用老办法登录服务器去tail f xxx.log,有很大可能错误日志未出现在当前服务器中,还需要重复这个过程直到找到日志才能进行问题定位。两三台还好,成百上千个实例呢?人力有时穷。此时ELK闪 阅读全文
posted @ 2019-06-20 16:09 东北小狐狸 阅读(2532) 评论(8) 推荐(5) 编辑
摘要:请检查Kafka的 看看是否有填写 这里的kafka host需要在 进行映射,服务端映射到本地或内网ip,客户端映射到服务端ip 问题解决。 阅读全文
posted @ 2019-06-20 13:27 东北小狐狸 阅读(13575) 评论(0) 推荐(0) 编辑
摘要:搭建过程中出现的问题 elasticsearch启动过程中报错【1】 解决办法 elasticsearch启动过程中报错【2】 解决办法 无法通过外部ip访问elasticsearch 解决办法 暂无解决办法,官方github上已经有人提issue了 这个问题只会出现在单体ELK中,无需理会 解决办 阅读全文
posted @ 2019-06-20 10:44 东北小狐狸 阅读(20925) 评论(0) 推荐(1) 编辑
摘要:官网说明: elasticsearch官网建议生产环境需要设置bootstrap.memory_lock: true 官网的解释 是:发生系统swapping的时候ES节点的性能会非常差,也会影响节点的稳定性。所以要不惜一切代价来避免swapping。swapping会导致Java GC的周期延迟从 阅读全文
posted @ 2019-06-12 14:49 东北小狐狸 阅读(21865) 评论(0) 推荐(3) 编辑
摘要:1 Solr集群 1.1 什么是SolrCloud SolrCloud(solr 云)是Solr提供的分布式搜索方案,当你需要大规模,容错,分布式索引和检索能力时使用 SolrCloud。当一个系统的索引数据量少的时候是不需要使用SolrCloud的,当索引量很大,搜索请求并发很高,这时需要使用So 阅读全文
posted @ 2017-09-07 08:04 东北小狐狸 阅读(1276) 评论(0) 推荐(0) 编辑
摘要:安装solr准备工作: linux/tomcat/jdk solr单机版的安装 1、解压缩tomcat安装包 tar -zxf tomcat-xxx.tar.gz 2、创建文件夹:mkdir /usr/local/solr 3、复制这个文件夹到/usr/local/solr/tomcat cp -r 阅读全文
posted @ 2017-08-26 09:39 东北小狐狸 阅读(412) 评论(0) 推荐(0) 编辑

点击右上角即可分享
微信分享提示
🚀
回顶
收起