Filebeat——基本使用
摘要：前言 ........... 工作原理 Filebeat由两个主要组件组成， prospectors和harvesters，他们一起协作tail文件并将事件发送给声明的输出。 harvester的职责是以行为单位读取文件，发送给输出，每个文件由不同的harvester读取。 prospector的职
阅读全文
posted @ 2020-03-27 10:23
03 2020 档案
Logstash——核心解析插件Grok
摘要：前言 通常来说，各种日志的格式都比较灵活复杂比如nginx访问日志或者并不纯粹是一行一事件比如java异常堆栈，而且还不一定对大部分开发或者运维那么友好，所以如果可以在最终展现前对日志进行解析并归类到各个字段中，可用性会提升很多。 grok过滤器插件就是用来完成这个功能的。默认可用。 grok的主要
阅读全文
posted @ 2020-03-27 10:22
Logstash——条件判断
摘要：前言 有时您只想在特定条件下过滤或输出事件。为此，您可以使用条件（conditional）。比如在elk系统中想要添加一个type类型的关键字来根据不同的条件赋值，最后好做统计。 条件语法 if EXPRESSION { ... } else if EXPRESSION { ... } else {
阅读全文
posted @ 2020-03-27 10:19
Logstash——解析各类日志文件
摘要：原理 使用filebeat来上传日志数据，logstash进行日志收集与处理，elasticsearch作为日志存储与搜索引擎，最后使用kibana展现日志的可视化输出。所以不难发现，日志解析主要还是logstash做的事情。 从上图中可以看到，logstash主要包含三大模块： INPUTS: 收
阅读全文
posted @ 2020-03-27 10:18
Docker——Registry 通过Shell管理私有仓库镜像
摘要：使用方法： 复制代码保存为 image_registry.sh sh image_registry.sh -h #查看帮助 HUB=10.0.29.104:5000 改为自己的地址 #!/bin/bash #cnetos7,docker-ce v18.09.9,registry v2.6.2 #Do
阅读全文
posted @ 2020-03-09 16:08
Docker Swarm（十一）生产环境使用的一些建议
摘要：一、Docker Swarm上的容器选择 并非所有服务都应该部署在Swarm集群内。数据库以及其他有状态服务就不适合部署在Swarm集群内。 理论上，你可以通过使用labels将容器部署到特定节点上，但是这样的话，Swarm集群外的节点就很难访问它们了(Docker 1.12没有很好的方法，但是1.
阅读全文
posted @ 2020-03-08 12:49
Docker Swarm（十）Portainer 集群可视化管理
摘要：前言 搭建好我们的容器编排集群，那我们总不能日常的时候也在命令行进行操作，所以我们需要使用到一些可视化的工具，Docker图形化管理提供了很多工具，有Portainer、Docker UI、Shipyard等等，本文主要介绍Portainer。 Portainer是一个开源、轻量级Docker管理用
阅读全文
posted @ 2020-03-06 23:23
Docker Swarm（九）资源限制
摘要：资源限制 docker run 針對限制容器資源有許多設置選項，但Swarm中的 docker service 是另一回事，目前只有cpu和memory的選項可以操作。 如果 docker 找不到足夠的資源來部署service，該service會進入Pending的狀態，然後持續kill、recre
阅读全文
posted @ 2020-03-06 23:21
Docker Swarm（八）滚动更新、回滚服务
摘要：滚动更新、回滚服务 默认情况下, swarm一次只更新一个副本,并且两个副本之间没有等待时间，我们可以通过： # 定义并行更新的副本数量--update-parallelism# 定义滚动更新的时间间隔--update-delay # 定义容器启动后监控失败的持续时间 --update-monito
阅读全文
posted @ 2020-03-06 23:20
Docker Swarm（七）Scale 扩(缩)容服务
摘要：扩(缩)容服务 扩容服务 Service还提供了复制（类似kubernetes里的副本）功能。可以通过 docker service scale 命令来设置服务中容器的副本数： docker service scale masl=4 和创建服务一样，增加scale数之后，将会创建新的容器，这些新启动
阅读全文
posted @ 2020-03-06 23:19
Docker Swarm（六）Label 节点标签与服务约束
摘要：前言 多节点 Swarm 集群下，可能节点的配置不同（比如 CPU、内存等），部署着不同类型的服务（比如 Web服务、Job服务等），当这些服务以 Service 或者 Stack 的形式部署到集群，默认情况下会随机分配到各个节点。 场景1：不同类型的服务对服务器需求的资源是不同的，为了更合理的利用
阅读全文
posted @ 2020-03-06 23:17
Docker Swarm（五）Config 配置管理
摘要：前言 在动态的、大规模的分布式集群上，管理和分发配置文件也是很重要的工作。传统的配置文件分发方式（如配置文件放入镜像中，设置环境变量，volume 动态挂载等）都降低了镜像的通用性。 Docker 17.06 引入了 Swarm 服务配置，它允许你在服务的镜像或者运行的容器外部存储非敏感信息，比如配
阅读全文
posted @ 2020-03-06 23:16
Docker Swarm（四）Volume 数据（挂载）持久化
摘要：前言 为了获得最佳的性能和可移植性，应该避免将重要数据直接写入容器的可写层，而应使用数据卷或绑定挂载。 可以为集群中的服务创建两种类型的挂载，数据卷挂载（volume mounts）或绑定挂载（bind mounts）。 无论使用哪种类型的挂载，在创建服务时使用 --mount 标志进行配置，或者在
阅读全文
posted @ 2020-03-06 23:15
Docker Swarm（三）Service（服务）分配策略
摘要：Service的分配原則 預設分散至多個nodes上 使用率較低的node優先配置 使用者可自行定義此分配模式 Service分配的3種方式 Service Constraints （服务约束） 参考：https://www.cnblogs.com/caoweixiong/p/12382282.ht
阅读全文
posted @ 2020-03-06 23:14
Docker Swarm（二）常用命令
摘要：# 管理配置文件 docker config # 查看已创建配置文件 - docker config ls # 将已有配置文件添加到docker配置文件中 - docker config create docker 配置文件名 本地配置文件 # 管理swarm节点 docker node # 查看集
阅读全文
posted @ 2020-03-06 23:13
Docker Swarm（一）集群部署
摘要：一、机器环境 机器规划 172.16.0.89 swarm的manager节点 manager-node 172.16.0.90 swarm的node节点 node1 机器版本（均是：CentOS Linux release 7.7.1908） 设置主机名 在manager节点上 [root@man
阅读全文
posted @ 2020-03-06 21:03
