“解决”CUDNN_STATUS_ALLOC_FAILED

Kuludu

March 22, 2021

2620 views

No comments

2605 words

技术文章智能科学

最近正在做一个炼丹深度学习的项目，不可避免地使用到了GPU加速。其中，在使用cuDNN的时候遇到了CUDNN_STATUS_ALLOC_FAILED的问题，记录一下。

首先给出我的系统硬件以及软件环境：

OS: Windows Server 2019 Standard
CPU: Intel Xeon W-2123 3.6GHz
Memory: 64G ECC
GPU: NVIDIA Quadro P4000(8G)
Tensorflow: 1.13.2
Keras: 2.1.5
CUDA: 10.0
cuDNN: 7.3

具体报错信息如下：

2021-03-22 20:39:27.884555: E tensorflow/stream_executor/cuda/cuda_dnn.cc:334] Could not create cudnn handle: CUDNN_STATUS_ALLOC_FAILED
2021-03-22 20:39:27.888005: E tensorflow/stream_executor/cuda/cuda_dnn.cc:334] Could not create cudnn handle: CUDNN_STATUS_ALLOC_FAILED
Traceback (most recent call last):
  File "C:\ProgramData\Anaconda3\envs\ly\lib\site-packages\tensorflow\python\client\session.py", line 1334, in _do_call
    return fn(*args)
  File "C:\ProgramData\Anaconda3\envs\ly\lib\site-packages\tensorflow\python\client\session.py", line 1319, in _run_fn
    options, feed_dict, fetch_list, target_list, run_metadata)
  File "C:\ProgramData\Anaconda3\envs\ly\lib\site-packages\tensorflow\python\client\session.py", line 1407, in _call_tf_sessionrun
    run_metadata)
tensorflow.python.framework.errors_impl.UnknownError: Failed to get convolution algorithm. This is probably because cuDNN failed to initialize, so try looking to see if a warning log message was printed above.
         [[{{node conv2d_1/convolution}}]]
         [[{{node concat_9}}]]

Quick Fix

此处参考stackoverflow上的一个方案。

import os
os.environ["CUDA_VISIBLE_DEVICES"] = "-1"

直接禁用GPU，自然也就不会牵扯到cuDNN。

Problem solved, amazing!

个鬼。

禁用GPU也就意味着禁用了GPU加速，~~意味着可怜的CPU要burn itself~~，这在对于效率有要求的生产环境是不行的🙅‍♂️。

观察

在建立模型后显存直接爆炸，如下图：

查阅资料，初步猜测是显存不足导致的，所以想到了限制一下显存的消耗：

import tensorflow as tf
from keras.backend.tensorflow_backend import set_session  
config = tf.ConfigProto()  
config.gpu_options.allow_growth = True  
set_session(tf.Session(config=config))

限制后显存明显降低了。