deep learning

时间:2022-10-06 22:47:36

今天跑一个模型,程序都没变,就配置文件变了。但是总是很快就显示loss为nan.

检查配置文件还是不行,把其中loss改为0还是不行。最后搁置了一下,再回头对比一下电脑上的和服务器上的,发现一个配置文件的初始学习率设置是0.01,而我要做的是ft,要从0.001开始,于是改掉从新跑上模型。大松一口气啊,一天折腾下来,终于找到原因了,想到我是直接从原始训练模型哪里拷贝的配置文件,学习率却忘记调整了。正好看到同事说这个问题大多是参数设置的问题,不会是数据的问题,更是松了一口气啊。

模型训练需要积累的东西还是很多啊,继续努力。