RuntimeError: cuda runtime error (59) : device-side assert triggered(已解决)

是这样的,在跑fasterrcnn的时候,要把原模型21个类别改为自己的类别数目,第一次改过后运行没有报错,第二次再修改就报错了,错误如下
1 block: [0,0,0], thread: [16,0,0] Assertion `t >= 0 && t < n_classes` failed.
2 RuntimeError: cuda runtime error (59) : device-side assert triggered

网上的主要解决方法如下:

  造成这个问题的原因就是在做分类任务时,训练数据中存在超出分类数目的标签。比如我一共设置了8个类,但是训练数据中的标签里出现了9,就会报这个错误。那么问题来了,这里有一个陷阱。训练数据中的标签含0也会报上述错误。这个就非常诡异了。一般我们都从0开始数,但是在pytorch里0以下的类别标签都是要报错的。所以如果类别标签从0开始,要给所有类别标签都加上1。

       但是我查看分析了自己的类别确实从0开始,所以应该不是这个错,经过多次百度Google,终于在一篇博文里面找到我的问题里面的线索。
是这样的第一次跑程序时是16个类别(我少删了4个,没发现)运行后发现多了四个类别,所以我删除这四个类别,但是再次运行就报了上面的错误,原因是我们每次
运行的时候都要把上次运行生成的cache给删除才行,因为我没删除,所以程序认为是16个类别,但是只提供了12个类别。所以报了这个错,删除cache重新运行就没问题了。

 

 这个bug真实恶心到我了,不过还好终于解决了,就记录一下。

 
posted @ 2020-07-06 23:22  你的雷哥  阅读(38993)  评论(2编辑  收藏  举报