轻量化卷积神经网络（SqueezeNet，MobileNet，ShuffleNet，Xception）
目录摘要SqueezeNet (AlexNet-level accuracy with 50x fewer parameters and < 0.5MB model size)MobileNetShuffleNetXception总结摘要在最近阅读的一些论文中常常出现MobileNet，Xce...
神经网络中常用**函数总结
好久没写博客和学习笔记了，感觉最近总是没有学习状态呀，就很烦。虽说确实是有在看一些视频课程但是总是精神有力，每天过得也好快总感觉啥都没学时间就过去了阿西。还是得逼最近写写笔记才能不那么恍惚。前几天开始学习Coursera上吴恩达的深度学习课程，然后顺便做做笔记吧。神经元的结构如下图所示，其中f就是*...
卷积神经网络的参数设定方法
与神经网络有关的主要参数如下：卷积层的卷积核大小、卷积核个数**函数的种类(常用的sigmoid tanh relu, leaky relu)池化方法的种类网络的层结构（卷积层的个数/全连接层的个数）Dropout的概率有无预处理有无归一化与训练有关的参数如下所示：Mini-Batch的个数学习率迭...
【个人整理】循环神经网络RNN对于变长序列的处理方法
前言：我们前面将的各种循环神经网络的实现都是固定的时间步长的，即timesteps的长度是固定的，但是在实际问题中，这个往往是不固定的，为什么呢？因为文本数据在处理的时候，由于各样本的长度并不一样，有的句子长有的句子短 这就导致在timesteps上面是维度不固定的，这种数据该如何处理呢？这就是本文...
一文搞定BP神经网络——从原理到应用（原理篇）
神经网络结构以及前向传播过程损失函数和代价函数反向传播1 矩阵补充知识2 矩阵乘积和对应元素相乘3 梯度下降法原理4 反向传播原理四个基础等式4 反向传播总结本文小结Hello，对于神经网络的原理，我入门了好多次，每次都觉得懂了，但是其实内部原理并没有理解透彻。经过不懈努力，终于茅塞顿开，遂总结此文...
【AI技术生态论】第四范式主任科学家：自动化神经网络理论进展缓慢，AutoML 算法的边界还不清楚
受访者 | 涂威威，第四范式副总裁、主任科学家&CEO记者 | 夕颜出品 | CSDN（ID:CSDNnews） 「AI技术生态论」是CSDN发起的“百万人学AI”倡议下的重要组成部分，与AIProCon万人开发者大会、Top30 AI技术生态行业案例征集和评选、开发者与AI大调查、AI大师...
如何解决LSTM循环神经网络中的超长序列问题
时间 2017-06-27 15:57:39 机器之心原文 https://www.jiqizhixin.com/articles/e8d4e413-a718-49ac-ae79-c197ba8d3601在 LSTM 循环神经网络面临长序列输入时，我们应该怎样应对？Jason Brownlee ...
MTCNN：将多任务级联卷积神经网络用于人脸检测和校准
最近一段接触了MTCNN算法，是中国科学院深圳先进技术研究院的成果，论文《Joint Face Detection and Alignment using Multi-task Cascaded Convolutional Networks》MTCNN算法是利用三层级联架构结合精心设计的卷积神经网络...
图像处理 CNN（卷积神经网络Convolutional Neural Networks）
1.图像的输入一张照片是如何输入到神经网络中的。众所周知，计算机适合处理的是矩阵运算，所以必须要把图片转换成矩阵后计算机才能认识。所有的彩色图像都由红绿蓝（RGB）叠加而成，成为图像的三个通道，一张图片在计算机中存储也是通过这三个矩阵完成的。RGB这三个矩阵称为为图像的3个通道，也作为神经网络的输入...
深度学习--RNN（循环神经网络）原理详解
RNN也就是循环神经网络，多用于处理时间序列上的数据，比如自然语言处理。如下图所示，x<1>为输入的第一个数据，x<2>为第二个，以此类推。在普通的神经网络中，x<1>就通过神经网络直接输出y<1>，同理x<2>对应y<2>，但...
神经网络及深度学习-Sigmoid 神经元函数介绍(5)
学习算法听起来很棒。但是，我们如何为神经网络设计这样的算法呢？假设我们有一个感知器网络，我们想用它来学习解决一些问题。例如，对网络的输入可能是来自扫描的手写数字图像的原始像素数据。我们希望网络学习权值和权重，以便网络输出对数字进行正确地分类。为了了解学习是如何工作的，假设我们对网络中的一些权重(或偏...
神经网络优化：指数衰减计算平均值(滑动平均)
目录1. 神经网络优化中的滑动平均2. 滑动平均详解---用滑动平均估计局部均值2.1 三种参数更新方式的比较2.1.1 滑动平均2.1.2 带偏差修正的滑动平均2.1.3 结论3. 滑动平均的好处4. 滑动平均在神经网络中的应用转自：https://blog.csdn.net/qq_1888886...
3.9 训练一个 Softmax 分类器-深度学习第二课《改善深层神经网络》-Stanford吴恩达教授
训练一个 Softmax 分类器 (Training a Softmax Classifier)上一个视频中我们学习了Softmax层和Softmax**函数，在这个视频中，你将更深入地了解Softmax分类，并学习如何训练一个使用了Softmax层的模型。回忆一下我们之前举的的例子，输出层计算出的...
光学神经网络 Optical neural network
之前有个博士的课程需要写一个文献综述，于是选了个现在比较热门的话题“光学神经网络ONN”，和大家分享一下。光学神经网络（Optical neural network, ONN）能有效减轻软件和电子硬件两者的部分运算，为替代人工神经网络提供了一种具有前景的方法。人工神经网络中耗能和耗时最多的部分是密集...
【从零开始深度学习】——3、如何搭建一个单隐层神经网络
本章将利用numpy搭建一个单隐层的神经网络，选择2个输入单元，4个隐藏单元和2个输出单元。神经网络的搭建由以下六个步骤完成：1、定义神经网络结构2、初始化模型参数（w和b）3、前向传播算法结构设计4、损失函数定义5、反向传播算法结构设计6、权值迭代与更新算法结构设计7、封装代码，整合模型便于直接调...
【计算机科学】【.01】贝叶斯卷积神经网络
本文为德国凯泽斯劳藤大学（作者：Kumar Shridhar）的硕士论文，共90页。人工神经网络是一种互连系统，它通过学习实例来完成给定的任务，而不必事先了解该任务。这是通过为每个节点中的权重找到最佳点估计来完成的。一般来说，使用点估计作为权重的网络在大型数据集上表现良好，但它们无法在数据很少或没有...
【机器学习基础】贝叶斯神经网络
本系列为《模式识别与机器学习》的读书笔记。一，混合密度网络作为逆问题，考虑机械臂的运动学问题。正向问题（forward problem）是在给定连接角的情况下求解机械臂末端的位置，这个问题有唯⼀解。然⽽，在实际应⽤中，我们想把机械臂末端移动到⼀个具体的位置，为了完成移动，必须设定合适的连接角。正向问...
卷积神经网络（3）卷积计算流程
如图，最左边蓝色的是输入的7*7*3的图片我们设置一个3*3的filter w0，filter的深度要跟输入一致，都是3，故我们可以看到三个filter w0将其在7*7*3的区域里滑动，开始的时候滑动是在图中R、G、B中圈起来的地方，所以我们计算的第一个值：f11=0（R中圈起来的地方和filte...
【GNN】MPNN：消息传递神经网络
今天学习的是谷歌大脑的同学 2017 年的工作《Neural Message Passing for Quantum Chemistry》，也就是我们经常提到的消息传递网络（Message Passing Neural Network，MPNN），目前引用数超过 900 次。严格来说，MPNN 不是...
Matlab神经网络输出结果的解读
转自： https://www.cnblogs.com/litthorse/p/7636839.html最上面的图形显示的是神经网络的结构图，可知有一个隐层一个输出层第二部分显示的是训练算法，这里为学习率自适应的梯度下降BP算法；误差指标为MSE第三部分显示训练进度：Epoch：训练次数；在其右边显...