【NIPS2017】“深度高斯模型”可能为深度学习的可解释性提供概率形式的理论指导？亚马逊机器学习专家最新报告

【导读】在NIPS 2017上，亚马逊机器学习专家Neil Lawrence在12月4日在长滩现场进行了一场“基于高斯模型的深度概率模型”的演讲报告。这场报告Neil Lawrence形象化地讲解了使用高斯过程来建模深度网络，并且深入浅出地讲解了什么是机器学习，不确定性的含义以及深度神经网络和高斯过程的一些关联等等，PPT内容干货很多，是学习机器学习概率理论的好文，后续专知会持续讲解PPT里的相关概念，敬请期待。

▌深度高斯过程

当前神经网络模型, 结构上非常清晰, 但是人们很难完整的把一个神经网络结构形式化成一个公式。而高斯过程正相反, 我们可以轻松的把任意一个高斯过程用公式完美刻画, 但当我们去用算法实现它, 却发现这是比较困难的。这篇报告中，作者试图使用高斯过程来代替神经网络中的一个层，来减少深度神经网络复杂的计算形式，这样使用一种概率模型的方式来进行深度神经网络的计算，可以为后续深度学习的可解释性提供概率形式的理论指导。

当我们听到“深度高斯过程”的时候, 我们在想些什么? 我们可能会问:

高斯过程能够做些什么? 它能够替换掉神经网络的某些层么?或者说, 有没有可能将高斯过程和神经网络的某些层结合起来做点事情?比如用高斯过程做神经网络的预处理, 或者先用神经网络提特征然后在feed给高斯过程?
有没有好的训练算法, 能够高效的解非常复杂的高斯过程? 类似现在的很多深度学习这样.
深度高斯过程的时间和空间复杂度是怎样的? 同样的任务, 相比于深度学习模型, 有哪些差异?
如何鲁棒？据说高斯过程在小数据集上比较work, 在有很多数据缺失的情况下也很鲁棒?
高斯过程数学公式很多，难学？高斯过程并不是很火, 那些公式的堆叠看上去非常复杂, 拿来用的话, 是不是要再补一补数学?

在NIPS 2017上, Neil Lawrence, 进行了题为 "Deep Probabilistic Modelling with Gaussian Processes"的报告, 把上面的问题, 清晰地阐述了一下。

▌Neil Lawrence简介

Neil Lawrence 是英国谢菲尔德大学教授，著名机器学习／高斯过程专家，现在加入亚马逊在英国剑桥领导一个机器学习团队。

个人主页：http://inverseprobability.com/

▌PPT简介

摘要

神经网络模型, 结构上非常清晰, 但是人们很难完整的把一个神经网络结构形式化成一个公式. 而高斯过程正相反, 我们可以轻松的把任意一个高斯过程用公式完美刻画, 但当我们去用算法实现它, 却发现这是比较困难的。在这篇报告里, 作者讨论深度高斯过程模型(Deep Probabilistic Modelling with Gaussian Processes), 类似所有高斯过程, 这一模型, 在数学形式上是简单和清晰的, 但在算法结构上充满挑战。

在文中, 作者将给出高斯过程的概述, 然后着重讲解如何基于变分来从算法上近似高斯过程, 从而将高斯过程堆叠起来, 形成我们的目标: deep Gaussian process. 报告最后, 会聊一聊深度高斯过程模型在uncertainty quantification上的应用, 以及与深度高斯过程相关的一些open questions。

PPT报告内容如下：