深度学习入门之Mnist

时间:2023-01-29 20:02:39

  参看Deep learning from scratch,学习到反向传播网络后,把网络调通了,但是训练后损失函数减小,准确率没有变化,和瞎猜一样,是为什么呢?只有在看看各层缺少什么,关键是我的参数和书中例子差不多,到底是为什么呢?

  调试了一晚上,应该是反向传播的值为零了,梯度为零,参数没有调整。

 又折腾了一天,去看书上的源码,才发现作者所用的像素值是经过归一化(0-1),而我直接就使用原生的像素值,搞出来的模型基本没有进步。然后我试着改变了学习率,rate=10,0.01,过大都没有学习到模型的特点,过小收敛的很慢。在个小例子说明了数据预处理和超参数对于deep learning很重要啊。