环境:Anaconda 4.5.11
tensorflow-gpu 1.13.1
CUDA 10.0
cunnn 7.5.0 for CUDA 10.0
出现该问题的原因是tensorflow-gpu运行时默认申请全部显存,导致再次运行时显存不够。现给出两种解决方法:
一、重启电脑
二、修改backend文件
在Anaconda\Lib\site-packages\tensorflow\python\keras
路径下找到文件,找到:
def get_default_session_config():
if not os.environ.get('OMP_NUM_THREADS'):
config = config_pb2.ConfigProto(allow_soft_placement=True)
else:
num_thread = int(os.environ.get('OMP_NUM_THREADS'))
config = config_pb2.ConfigProto(
intra_op_parallelism_threads=num_thread, allow_soft_placement=True)
return config
修改为:
def get_default_session_config():
if not os.environ.get('OMP_NUM_THREADS'):
config = config_pb2.ConfigProto(allow_soft_placement=True)
config.gpu_options.allow_growth=True
else:
num_thread = int(os.environ.get('OMP_NUM_THREADS'))
config = config_pb2.ConfigProto(
intra_op_parallelism_threads=num_thread, allow_soft_placement=True)
config.gpu_options.allow_growth=True
return config
config.gpu_options.allow_growth=True
可以让tensorflow-gpu运行时根据需要申请显存。
参考:/questions/43990046/tensorflow-blas-gemm-launch-failed