CUDA运行时错误 --- CUDA_ERROR_LAUNCH_FAILED: unspecified launch failure
错误信息:
2020-04-08 11:01:43.783914: E tensorflow/stream_executor/cuda/cuda_event.cc:29] Error polling for event status: failed to query event: CUDA_ERROR_LAUNCH_FAILED: unspecified launch failure
2020-04-08 11:01:43.791497: F tensorflow/core/common_runtime/gpu/gpu_event_mgr.cc:273] Unexpected Event status: 1
====================================================================================
问题综述:
1、这是一个暂时性的问题,一般情况下这说明你的机器是没问题的。这个问题出现在机器高负荷运行几个小时后,这就告诉你可能是gpu运算出错了,这不是一个永久性的问题
2、这类错误或许是因为人工智能第五星座的宇宙奇异伽马射线,穿过CPU, 无意中造成的,或者是绝少发生的硬件错误引起的,或者是因为电压不稳,时钟频率异常,温度造成的cpu运行错误
3、来自人工智能星球中一名园丁的解释:我遇到了同样的问题并提交给了NVIDIA,他们说这个问题是运行时间超过5s造成的,请查看windows的发行说明
====================================================================================
注意事项:
个人gpu程序运行被系统限制在5s之内完成,超过这个时间cuda驱动或cuda运行时通常会引发运行失败,有时候会整个机器都会没有反应,有时也会蓝屏,须重启。
微软的windows系统有一个看门狗让程序使用初级图形适配器控制超时。
处于这种考虑,建议cuda运行在没有跟显示器连接的而且非windows桌面环境下的G80显卡上
因此,系统必须还要有至少一个NVIDIA gpu作为初级图形适配器
====================================================================================
结束。。。。