一维卷积神经网络的特征可视化-建立模型并进行训练
# basic modelmodel = Sequential([ Input(shape=[X_train.shape[1], 1]), Conv1D(filters=16, kernel_size=3, activation="relu"), BatchNormalizati...
故障诊断 | 一文解决，GCN图卷积神经网络模型的故障诊断（Matlab）-模型描述
GCN（Graph Convolutional Network）是一种基于图结构数据进行卷积操作的神经网络模型。它在处理图数据上展现了很好的性能，特别适用于节点分类、图分类和图生成等任务。 GCN模型的核心思想是将图结构数据转化为矩阵表示，然后通过矩阵的卷积操作来对节点进行特征表示和学习。下面是G...
深度信念神经网络DBN最通俗易懂的教程
前几天我把受限玻尔兹曼机给讲完了，这次我接着讲一下它的进阶理论，还是那句话，全是白话文，你们肯定能听懂深度信念网络，它的英文名叫作Deep Belief Network，先解释一下这个名词：Deep意思是深度，大家应该有听过深度学习吧，深度学习是一个叫做Hinton的大学霸发明的，这个大学霸，大神很...
入门通俗易懂的神经网络语言模型(NNLM)详解
文章目录神经网络语言模型(NNLM)输入层（投射层）隐藏层输出层计算复杂度神经网络语言模型(NNLM)输入层（投射层）一个文本，由N个词语组成，现在呢：想根据 前N个词语 来预测 第N个词语 是啥？我们采用的语料库V(也就是我们最大限度能想到的的所有词语集合)包含10万个词语词向量W：是一个one-...
神经网络（二）——深入理解反向传播的四个基本方程
由于神经网络覆盖的内容比较多,一时提笔不知从何开始说起,刚好看到这一章以公式为主,因此先入手这一章。本章参考书籍《神经网络与深度学习》以及三蓝一棕的B站视频。1.预备知识我们先来看一张图，了解一下我们的符号定义： 我们首先给出网络中权重的定义：wljkwjkl表示从第l−1l−1层的的kk个神经元...
调试神经网络的注意事项和技巧总结（一）
最近在调试神经网络的过程中，遇到了网络不收敛的情况，查阅了很多的相关的资料，根据相关的建议，作出了一些实验，来进行调试，下面这几点是我遇到的几个坑： 1.数据预处理 2. 数据规范化 3.正则化 4.batch size 5.使用了不适当的学习率 6.在最后一层使用了错误的**函数 7.网络含有不良...
基于双向长短期神经网络LSTM的负荷预测，gru神经网络的负荷预测-训练方法
为了最小化训练误差，梯度下降法（Gradient descent）如：应用时序性倒传递算法，可用来依据错误修改每次的权重。梯度下降法在递回神经网络（RNN）中主要的问题初次在1991年发现，就是误差梯度随着事件间的时间长度成指数般的消失。当设置了LSTM 区块时，误差也随着倒回计算，从output...
Tensorflow一个很简单的神经网络求解常微分及偏微分方程
最近才入门深度学习不久，在看了arxiv.org上1902这篇文章使用神经网络在不需要已知解析解情况下就能求解常微分方程及偏微分方程的数值解，精度也很不错，自己也尝试了下，最终成功复现论文作者的结果，将代码展示一下，供需要的同学使用，才疏学浅，其中可能存在的谬误还请及时评论。论文作者采用了一个很简单...
速读-A3基于注意力机制的神经网络处理器
论文：Ham, Tae Jun, et al. “A^ 3: Accelerating Attention Mechanisms in Neural Networks with Approximation.” 2020 IEEE International Symposium on High Per...
论文解读——神经网络翻译中的注意力机制 以及 global / local attention
论文 Effective Approaches to Attention-based Neural Machine Translation这篇论文主要介绍了神经网络翻译中的attention机制的集中改进方式，包括global / local attention以及 input-feeding机制，...
B站吴恩达深度学习视频笔记（28）——深度神经网络说明以及向前传播向后传播实现
深层神经网络（Deep L-layer neural network）目前为止我们已经学习了只有一个单独隐藏层的神经网络的正向传播和反向传播，还有逻辑回归，并且你还学到了向量化，这在随机初始化权重时是很重要。目前所要做的是把这些理念集合起来，就可以执行你自己的深度神经网络。复习下前面21个笔记的内容...
论文解读（二）：卷积神经网络真的有平移不变性吗
在我们读计算机视觉的相关论文时，经常会看到平移不变性这个词，通常观点中，大家都是普遍认为CNN是具有平移不变性的，然而近年来，有一些工作的研究对平移不变性提出了质疑，本文对一些平移不变性的理解进行记录，对于持有平移不变性的观点，和持有平移变化的观点，对该两类观点进行简单的记录，不提出相关的解决方法。...
大数据深度学习：基于Tensorflow深度学习的神经网络CNN算法垃圾分类识别系统
文章目录 大数据深度学习：基于Tensorflow深度学习的神经网络CNN算法垃圾分类识别系统一、项目概述二、深度学习卷积神经网络（Convolutional Neural Networks，简称CNN）三、部分数据库架构四、系统实现系统模型部分核心代码模型训练效果图训练模型效果展示模型训练...
轻量化卷积神经网络：SqueezeNet、MobileNet、ShuffleNet、Xception
一 引言二 轻量化模型2.1 SqueezeNet2.2 MobileNet2.3 ShuffleNet2.4 Xception三 网络对比 一 引言自2012年AlexNet以来，卷积神经网络（简称CNN）在图像分类、图像分割、目标检测等领域获得广泛应用。随着性能的要求越来越高，AlexNet已经...
轻量化卷积神经网络（SqueezeNet，MobileNet，ShuffleNet，Xception）
目录摘要SqueezeNet (AlexNet-level accuracy with 50x fewer parameters and < 0.5MB model size)MobileNetShuffleNetXception总结摘要在最近阅读的一些论文中常常出现MobileNet，Xce...
神经网络中常用**函数总结
好久没写博客和学习笔记了，感觉最近总是没有学习状态呀，就很烦。虽说确实是有在看一些视频课程但是总是精神有力，每天过得也好快总感觉啥都没学时间就过去了阿西。还是得逼最近写写笔记才能不那么恍惚。前几天开始学习Coursera上吴恩达的深度学习课程，然后顺便做做笔记吧。神经元的结构如下图所示，其中f就是*...
卷积神经网络的参数设定方法
与神经网络有关的主要参数如下：卷积层的卷积核大小、卷积核个数**函数的种类(常用的sigmoid tanh relu, leaky relu)池化方法的种类网络的层结构（卷积层的个数/全连接层的个数）Dropout的概率有无预处理有无归一化与训练有关的参数如下所示：Mini-Batch的个数学习率迭...
【个人整理】循环神经网络RNN对于变长序列的处理方法
前言：我们前面将的各种循环神经网络的实现都是固定的时间步长的，即timesteps的长度是固定的，但是在实际问题中，这个往往是不固定的，为什么呢？因为文本数据在处理的时候，由于各样本的长度并不一样，有的句子长有的句子短 这就导致在timesteps上面是维度不固定的，这种数据该如何处理呢？这就是本文...
一文搞定BP神经网络——从原理到应用（原理篇）
神经网络结构以及前向传播过程损失函数和代价函数反向传播1 矩阵补充知识2 矩阵乘积和对应元素相乘3 梯度下降法原理4 反向传播原理四个基础等式4 反向传播总结本文小结Hello，对于神经网络的原理，我入门了好多次，每次都觉得懂了，但是其实内部原理并没有理解透彻。经过不懈努力，终于茅塞顿开，遂总结此文...
【AI技术生态论】第四范式主任科学家：自动化神经网络理论进展缓慢，AutoML 算法的边界还不清楚
受访者 | 涂威威，第四范式副总裁、主任科学家&CEO记者 | 夕颜出品 | CSDN（ID:CSDNnews） 「AI技术生态论」是CSDN发起的“百万人学AI”倡议下的重要组成部分，与AIProCon万人开发者大会、Top30 AI技术生态行业案例征集和评选、开发者与AI大调查、AI大师...