摘要：
1.检查pg ceph pg dump|grep inconsistent ceph -w ceph health detail #pg repair 阅读全文
摘要：
osd 无法启动 问题描述 osd 状态 down [root@node-1 ~]# ceph osd tree ID WEIGHT TYPE NAME UP/DOWN REWEIGHT PRIMARY-AFFINITY -1 8.68958 root default -2 2.17239 host 阅读全文
摘要：
客户环境，sdX为日志盘损坏，现更换新得sdX盘，目前6个osd down执行以下操作第一步：ssd 以 /dev/sd<X> 指代，分区序号以 <Y> 指代（在 ssd 创建的第一个分区， Y 即是 1，创建第 2 个时， Y 即是 2），命令：sgdisk -n <Y>:0:+5G -t <Y> 阅读全文
摘要：
故障现象虚机重启后黑屏，无任何报错提示故障处理1、查询ceph状态发现异常并且有慢请求2、查看日志发现有大量慢请求3、查询集群延迟最高的osd，发现为28、57、34、39、494、查询osd的信息，发现主机都是mon03节点5、集群打标签6、将慢请求的osd停止服务7、集群停止慢请求8、虚机重启后 阅读全文
摘要：
架构图组件实况图组件：k8s的node每个都有两个程序组件：kubelet和kube-proxy。kubelet在nonde上充当一个agent的作用。kube-proxy是负责对外访问的网络。k8s的master的组件详细说明：apiserver主要是集群入口和调度etcd：把全部连接信息等都会存 阅读全文
摘要：
生产4区网络节点日志异常分析问题情况1、网络节点ovs日志都存在cpu usage超过50%的告警2、message日志存在br-int: dropped over-mtu packet: 1500 > 1450 的信息影响范围没有影响业务，只是日志异常处理过程根据日志关键字revalidator说 阅读全文
摘要：
k8s集群故障后中间件恢复k8s集群恢复之后，mysql、rabbitmq、redis中间件的集群状态无法自愈，需要手动修复。mysql组复制恢复mysql集群会只有一个主节点在线，通过启动其他节点，其他节点同步数据会出现事务日志不一致的情况，如图：修复方法：需要--清空从节点数据，从主节点恢复所有 阅读全文
摘要：
当有台虚机无法ping通时下发一台测试虚拟机，找到他在对应宿主机节点的qvo设备，通过手动修改该qvo的tag，然后恢复qvo设备的tag。整个过程用另外一台虚拟机Ping测试虚拟机，测试修改过程中是否断网以及恢复tag的时候是否恢复通信。修改tag命令：ovs-vsctl set port POR 阅读全文
摘要：
云硬盘跨存储迁移方案修订记录日期版本修订说明修订人审核人批准人2021-06-291.0初稿卢启涛目录1 背景 12 实现方案 12.1 跨存储冷迁移 12.2 跨存储热迁移 13 跨存储卷冷迁移步骤 2背景业务系统存在虚拟机卷数据跨存储迁移需求，常见场景：源卷在HDD pool，目的卷在SSD p 阅读全文
摘要：
Ceph巡检 前置检查 指标解释： 获取指令： 判断条件： 告警级别： Err： Warn : Info： 备注信息： Ceph 集群 集群状态 集群整体 Health 状态 指标解释： Ceph 集群的健康状态，分为三种情况： HEALTH_OK HEALTH_WARN HEALTH_ERR 获取 阅读全文