昆明光标科技有限公司

后台服务运行后无故停止运行,原因不明

      服务器清空所有数据,启动运行,初开始运行时,一切正常,数据也正确,但运行一段时间后,服务停止运行,数据显示也是错乱的。 

      经过10几天的观察, 发现一旦Redis数据量增长到一定时间后,整个服务莫名地退出,找不到原因,以为是 类中的静态标志位 _IsAutoMonitor 等在不同程序域中引起错乱,但实际观察后,取消注释后,故障现象依旧。 

    重新 清空 Redis数据后,重新启动服务,又可以运行一段时间,但随时时间推移,服务又出现故障。服务从来没有正常运行超过24小时,随时需要人员维护,搞得疲惫不堪。 

    根据现象分析,一定与 Redis相关,但找不到明确的原因,故障无法排除。 

    后重新整理了数据服务器,不断优化代码,希望排除代码中的故障,优化代码性能,得到的结果是,代码性能得到不断的提高,但故障却没有根本排除。

 

    今天又清空数据鸡窝,出现了以下异常提示:

     StackExchange.Redis.RedisConnectionException: No connection is available to service this operation: EVAL; IOCP: (Busy=0,Free=1000,Min=16,Max=1000), WORKER: (Busy=52,Free=971,Min=16,Max=1023), Local-CPU: n/a 

 

    再往前追溯,得到以下异常:

    2019-03-21 18:40:35,245 [146] ERROR IBeam.Cache.Redis.RedisProvider [(null)] - InternalGet Key=GqXhzUnqHMxC0LahfrQWCiGVKck=,Error=StackExchange.Redis.RedisServerException: ERR Error running script (call to f_7b41d432ab2c09c0e216c48f24b3a9a6260229b5): @user_script:5: @user_script: 5: -MISCONF Redis is configured to save RDB snapshots, but is currently not able to persist on disk. Commands that may modify the data set are disabled. Please check Redis logs for details about the error.    

 

    说明是 Redis做快照落盘存储时出错,导致了停止服务。 修正这个问题,可以执行如下命令

    命令行修改方式示例: 127.0.0.1:6379> config set stop-writes-on-bgsave-error no 

    使Reids在写出错时仍然可以继续工作。因此,在实际的运行环境工作中,安装了Reids数据库时,应该首先配置这此项,不能因为 写 错误使用服务停止。在只当作Cache应用的场景下,也可以索性关闭 持久化存储。 

    找到原因后,所有问题得到了还原。 

 

   另外,Redis 单机缓存数在 100万条时,性能突然下降,导致获取 锁时 等待时间过长,或无法获取锁,此时,将缓存数据清空时,性能恢复。 

   如果应用或服务一切运行正常,但不知不觉中CPU占用突然降低,进程工作正常,并没有任何异常,此时一定是Redis内存占用达到阀值,在进行内存交换,将内存中的数据写到磁盘中,此时Redis的工作效率非常危险。或不可恢复。请参考: Redis 内存引起效率下降  Redis基本概念与配置

    处理方法为:如果只做为缓存使用,可以关闭 持久化存储,并且 设置 Key的过期策略为:allkeys-lru 

 

posted @ 2019-03-21 20:29  杨义金  阅读(1769)  评论(0编辑  收藏  举报
昆明光标科技有限公司