受限玻尔兹曼机(RBM)以及对比散度(CD)

时间:2022-12-14 17:30:26

1. RBM 的提出

BM 的缺点:

  • 计算时间漫长,尤其是无约束*迭代的负向阶段;
  • 对抽样噪音敏感;
  • 流行软件的不支持;

受限玻尔兹曼机(Restricted Boltzmann Machine,简称 RBM,以解决 BM 的学习效率过慢的严重缺陷)是由 Hinton 和 Sejnowski 于 1986 年提出的一种生成式随机神经网络(generative stochastic neural network),该网络由一些可见单元(visible unit,对应可见变量,亦即数据样本)和一些隐藏单元(hidden unit,对应隐藏变量)构成,可见变量和隐藏变量都是二元变量,亦即其状态取{0,1}。整个网络是一个二部图,只有可见单元和隐藏单元之间才会存在边,可见单元之间以及隐藏单元之间都不会有边连接,如下图所示:


受限玻尔兹曼机(RBM)以及对比散度(CD)

2. BM 与 RBM 的对比

  • RBM 和 BM 一样,都可视为一种无向图(undirected graph),所谓无向的涵义即在于,权值对称, wji=wij (自然对于有向图而言,与指向有关;)

  • RBM 同层节点之间没有连接(BM 有连接),

    • 可见层,隐层:结点之间彼此独立(简化的思路)(条件独立假设),

3. 数学记号

  • 能量函数的定义:

    E(v,h|θ)=iaivijbjhjinjmaiWijbj

    • 显然可以将上述公式简化为:一种向量的记法;
    • ai :可见层的偏置(bias)
    • bj :隐层的偏置(bias)
    • 竖线右边的 θ 就像条件概率的形式一样,一般理解为固定 θ θ={Wij,ai,bj} )的条件下, E 关于 v,h 的函数;
  • v,h 的联合概率分布为(由玻尔兹曼分布而来):

    P(v,h)=eE(v,h|θ)Z(θ)

    Z 十分难计算( 2n+m 种组合)

4. CD 算法

θ=argmaxL(θ)=argmaxt=1TlogP(v(t)|θ)

目标函数,即在参数( θ )确定的情况,最大化重现(再现)输入;

5. AE 与 RBM

  • AE:
    • 出于简化的考虑:输入层,隐层,输出层;
    • 因为通过低维的隐层,可以重构出输出层,可见低维的隐层,是一种对输入本质特征的描述,又可从侧面说明,输入层是可以被压缩,也即存在冗余,进一步我们可认为其是可以被稀疏表示的;
      • 平方损失,BP反向传播,
  • RBM:
    • 可见层,隐层,可见层,隐层 ,,, ,是一种横向的展开;
    • 这种周期性的循环结构可以被视为:不同的可见层其实是相互重叠的;
    • 可见层既作为输入,也作为输出,(之所以称其为可见层,隐层,而不是输入层,隐层,输出层,就在于,可见层既作为输入层,也作为输出层)
    • -