TensorFlow迭代速度变慢的问题

时间:2022-05-04 09:00:23

最近用TensorFlow实现遗传算法(Genetic Algorithms),发现迭代速度越来越慢,用time.time()观察以后,发现每次迭代都要比上一次慢0.5秒左右,但是每次迭代的计算量是差不多的。研究后发现,这是因为每次迭代都在计算图(Graph)里面增加了新的节点,节点越来越多,导致Memory Leak,迭代速度越来越慢。为了验证是否是这个原因造成的,增加了一行代码锁定图:

graph.finalize()

结果报错,说明确实是这个原因造成的。

解决的办法是,每次迭代前重置默认图,然后新建一个图,将新建的图作为默认图,然后再向图里面增加节点。代码如下:

    tf.reset_default_graph()
graph = tf.Graph()
with graph.as_default() as g:

加上这几句代码以后,每次迭代的运行时间就差不多了。