sparse autoencoder

时间:2023-03-08 22:18:36

1.autoencoder

autoencoder的目标是通过学习函数sparse autoencoder,获得其隐藏层作为学习到的新特征。

从L1到L2的过程成为解构,从L2到L3的过程称为重构。

每一层的输出使用sigmoid方法,因为其输出介于0和1之间,所以需要对输入进行正规化

使用差的平方作为损失函数

sparse autoencoder

2.sparse

spare的含义是,要求隐藏层每次只有少数的神经元被激活:

隐藏层的输出a,a接近于0,称为未激活

a接近1,成为激活

使用如下方法衡量:

每个隐藏层的神经元有p的概率为激活,1-p的概率未激活(p一般取0.05、0.01等接近0的値)

sparse autoencoder作为p的估计

使用KL散度,衡量两个分布的差异性sparse autoencoder

3.代码参考

ufldl练习  tornadomeet的实现