val_loss先下降后上升或不下降只上升

时间:2023-03-09 07:57:56


  • train loss 不断下降,test loss不断下降,说明网络仍在学习;
  • train loss 不断下降,test loss趋于不变,说明网络过拟合;
  • train loss 趋于不变,test loss不断下降,说明数据集100%有问题;
  • train loss 趋于不变,test loss趋于不变,说明学习遇到瓶颈,需要减小学习率或增大批量数目;可能造成的原因,数据集噪声过多,label标记大量错误或者不规范,数据读取错误,类别不平衡
  • train loss 不断上升,test loss不断上升,说明网络结构设计不当,训练超参数设置不当,数据集经过清洗等问题。
  • train loss不断下降,dev(或test)loss不断上升:说明网络过拟合

第一看下是不是表达式有问题,第二调小学习率和增大Batch Size,第三在loss加正则化项

val_loss先下降后上升或不下降只上升


检查代码没什么问题,应该是陷入了局部最优,可以把学习率调低一点