06 2019 档案
摘要：写在前边 今凌晨的时候已经把这整个Docker compose构建的ELK集群跑起来了，有点没熬住，所以早上起来补文档，今天就上到公司测试服务器上测试了，好开森。 本文内容就是红框的部分，只是启动个Kibana实例，通过它来连接es tribe节点来完成连接到Es集群。 本文配置源码参见我的Git仓
阅读全文
摘要：【拆分版】Docker compose构建Logstash多实例 写在最前 说起Logstash，这个组件并没有什么集群的概念，与其说是集群，不如说是各自去收集日志分析过滤存储到Elasticsearch中。这里做个多实例的Logstash，其实本质上只是为Logstash指定好占用的端口，输入输出
阅读全文
摘要：写在前边 在搭建Logstash多节点之前，想到就算先搭好Logstash启动会因为日志无法连接到Kafka Brokers而无限重试，所以这里先构建下Zookeeper集群管理的Kafka集群。 众所周知，Zookeeper是一个高效的分布式协调中间件，可以提供配置信息管理、命名、分布式同步（分布
阅读全文
摘要：写在前边 搞了两三天了，一直有个问题困扰着我，ES集群中配置怎么能正确映射到主机上，这边经常报 原因是容器中的ES节点没有正确的映射到主机上，而且容器内ip是易变的，我该怎么配置呢？ 临下班了，终于想到个法子， 固定容器ip——使用network_mode: host 看到主机模式的我眼前一亮，容器
阅读全文
摘要：写在前边 昨天晚上就已经完成这篇博客了，就是在测试这块是否正常跑起来，晚上没搞完，上班前把电脑关机带着，结果没保存！基本上昨天写的东西都丢了，好在博客园的图片url还在。 为了让大家都轻松些，我轻松写，你轻松看。打算把文章的篇幅缩小，拆分成多个部分，这样更新频率会提高，写起来看起来也不会那么累，也不
阅读全文
摘要：本文说明 由于最近在搭ELK的日志系统，为了演示方案搭了个单台服务器的日志系统，就是前一篇文章中所记，其实这些笔记已经整理好久了，一直在解决各种问题就没有发出来。在演示过程中我提到了两个方案，其中之一来自于 "【原创】分布式之elk日志架构的演进" 一文中的中级版，另一自然是使用日志直接输出到Kaf
阅读全文
摘要：ELK是什么？ 一般来说，为了提高服务可用性，服务器需要部署多个实例，每个实例都是负载均衡转发的后的，如果还用老办法登录服务器去tail f xxx.log，有很大可能错误日志未出现在当前服务器中，还需要重复这个过程直到找到日志才能进行问题定位。两三台还好，成百上千个实例呢？人力有时穷。此时ELK闪
阅读全文
摘要：请检查Kafka的 看看是否有填写 这里的kafka host需要在 进行映射，服务端映射到本地或内网ip，客户端映射到服务端ip 问题解决。
阅读全文
摘要：搭建过程中出现的问题 elasticsearch启动过程中报错【1】 解决办法 elasticsearch启动过程中报错【2】 解决办法 无法通过外部ip访问elasticsearch 解决办法 暂无解决办法，官方github上已经有人提issue了 这个问题只会出现在单体ELK中，无需理会 解决办
阅读全文
摘要：更新于2019.12.17 本文内容 Linux在线/离线安装Docker CE (开源版本) 鉴于公司一般使用Centos 7 作为服务器，本文只记录Centos 7系统安装Docker部分，更多详见 "官方文档" 前提条件 1.系统、内核 CentOS7 要求64位系统、内核版本3.10以上 C
阅读全文
摘要：写文目的 在写本文之前，我在做一个docker compose项目，这里需要在docker compose.yml配置中引用到宿主机的ip，然而docker compose并没有命令行一个输入的选项，看了些博客和官方文档，发现自己定义的如 中定义的键值对，只能完全当做环境变量被引用，而不是部分变量。
阅读全文
摘要：官网说明： elasticsearch官网建议生产环境需要设置bootstrap.memory_lock: true 官网的解释 是：发生系统swapping的时候ES节点的性能会非常差，也会影响节点的稳定性。所以要不惜一切代价来避免swapping。swapping会导致Java GC的周期延迟从
阅读全文
摘要：Why update kernel ? Update the kernel to new version fixed some newer hardware has no driver software, For me, My earphone has current noice. Someone
阅读全文
摘要：基本概念 Docker是什么？ Docker是一种基于Golang开发的虚拟化技术，开发人员和系统管理员使用容器开发，部署和运行应用程序的平台。 使用Linux容器部署应用程序称为容器化。 容器不是新的概念，但它们用于轻松部署应用程序。 统一了开发与实施运维的系统环境，减轻实施与运维人员的负担。 D
阅读全文