vcenter 6.0用vsphere client登录不上显示503,服务起不来可以ping通,进不了shell模式,日志文件过大的解决方案

Vcenter版本:6.0

esxi版本:5.5 

登录工具:vsphere client 5.5  

表现症状:Vcenter直接登陆不上,用Client登陆的时候报错,Ssh可以进去,但是用不了shell,也不能用命令shell.set --enabled true开启shell

Vcenter的管理地址是ping通的,用Client登陆Vcenter所在的esxi主机也是可以的,Vcenter虚拟机是linux版本vcsa的,状态看起来也正常。

尝试登录vc虚拟机所在esxi主机看到vc的状态似乎是正常的,然后重启vcenter,将近话了40分钟,重启极慢。最后起来以后还是一样的问题,重启解决不了问题。

ssh到vcenter上发现vmware-rbd-watchdog vmware-netdumper vmware-mbcs这几个服务没有启动,而且手动启动报错。

故障原因:经过一些列的百度,最后定位故障原因就是日志文件过大,导致系统崩溃,关键服务没有起来。

结局问题思路:想办法进入shell,删除过大的日志文件,扩充磁盘容量。

解决问题步骤:想办法登录GRUB界面,删除超大日志文件,扩展日志盘容量。进grub界面可以详细研究一下这个:https://kb.vmware.com/s/article/2069041

1.进入esxi主机管理界面,将vc虚拟机关机,右键编辑虚拟机设置,高级,开机延迟,将vc虚拟机开机延迟为10000毫秒,勾选开机强制进入bios设置,然后开机,进bios不进行任何操作,保存重启,才能出来开机选项,用上下键快速选择任意启动项,不要回车,主要是为了保持窗口,不进入启动。然后按p键,出来密码输入界面,输入root密码,进入到GRUB界面。

 

 

2.滚动到第二行以显示内核参数,选择kernel/vmlinuz-3.0.80-0.7这栏,按e键 编辑引导命令,init=/bin/bash附加到核心引导选项。

3.按 Enter。将重新显示 GRUB 菜单。

4.键入b启动引导过程。系统引导到Shell。

5.输入df -h发现确实是磁盘满了。

 

6.通过find / -type f -size +100M命令,把大于100M的文件都找了出来,

7.发现大文件主要是audit.log这个文件,用cd  /var/log/audit/  导航到这个日志文件所在目录,用ll显示文件夹的文件,会发现audit.log这个文件特别大(此图是已经调整后的,所以文件不大)

8.用rm -rf /var/log/audit/audit.log命令删除,删除后再次用df -h查看磁盘容量,会发现磁盘利用率明显变小了。

注意:audit.log这个文件是可以再生的,删除后系统开机就会再生,可以删除。

9.然后将vc虚拟机关机,(可以直接esxi管理界面强制关机,也可以用命令shutdown -t  secs 1 关机)调整虚拟机配置,磁盘配置,磁盘5是存放日志文件的,适当增大磁盘5的容量。

以下是vcsa6.0版本使用的11个VMDK,每个磁盘的用途,根据表格日志文件存在磁盘5,我们调整磁盘5的容量,扩大一些。

 

 

注意:如果运行reboot命令无法重新启动设备,则运行以下命令:
mkfifo /dev/initctl
reboot -f

也可以直接在esxi主机管理界面强制关机或者用命令

mkfifo /dev/initctl

shutdown -t secs 1

10.确定后开机,开机速度正常,vc可以正常登录,故障解决。

Shell也可以正常启用

11.另外一种方案就是直接对vc的虚拟机磁盘5进行扩容,不删除日志文件。

文章整合链接:

https://blog.csdn.net/zongzizz/article/details/108425714

https://blog.csdn.net/z136370204/article/details/104995333

https://www.jianshu.com/p/e2f1eccdf997

https://kb.vmware.com/s/article/2069041

感谢前辈的贡献,帮我找到解决问题的方案,我也整合我的经验在此分享给大家。

 

posted @ 2022-02-09 10:25  vvvvcc的世界  阅读(2946)  评论(0编辑  收藏  举报