深层神经网络——多层网络解决异或运算

时间:2022-03-10 09:13:46

异或(xor)是一个数学运算符。它应用于逻辑运算。异或的数学符号为“⊕”,计算机符号为“xor”。其运算法则为:
a⊕b = (¬a ∧ b) ∨ (a ∧¬b)
如果a、b两个值不相同,则异或结果为1。如果a、b两个值相同,异或结果为0。
异或也叫半加运算,其运算法则相当于不带进位的二进制加法:二进制下用1表示真,0表示假,则异或的运算法则为:0⊕0=0,1⊕0=1,0⊕1=1,1⊕1=0(同为0,异为1),这些法则与加法是相同的,只是不带进位。

深度学习重要性质:多层变换
感知机模型从数学上完成了对神经网络的精确建模,感知机可以简单的理解为单层的神经网络。以下神经元结构就是感知机的网络结构。
深层神经网络——多层网络解决异或运算
感知机会先将输入进行加权和,再通过ReLu、sigmoid等激活函数得到输出。这个结构就是一个没有隐藏层的神经网络。
感知机是无法模拟异或运算的。但是当加入隐藏层后,异或问题就可以得到很好的解决。从Tensorflow游乐场中可以得知,当没有隐藏层,神经网络(感知机)无法模拟异或运算,但是一旦加入隐藏层,异或问题就能很好的解决了。
我们可以得出结论,深层神经网络实际上具有组合特征提取的功能。这个特性对于不易提取特征向量的问题(图片识别、语音识别等)有很大帮助。