《深度学习工程师-吴恩达》03卷积神经网络—卷积神经网络 学习笔记
作者：jlianghttps://blog.csdn.net/jliang3 《深度学习工程师-吴恩达》03卷积神经网络—卷积神经网络 学习笔记 1.重点归纳1）神经网络解决的视觉问题（1）图片分类（2）目标检测（3）图片风格迁移2）卷积神经网络的padding（1）不进行padding时存在的问题...
【深度学习】经典卷积神经网络模型
在卷积神经网络发展的过程中经历了很多革命性的创新，诞生了很多优秀的网络结构，接下来我将介绍几个经典网络结构LeNet，这是最早用于数字识别的卷积神经网络（CNN）AlexNet，2012 ILSVRC比赛远超第2名的CNN，比 LeNet更深，用多层小卷积层叠加替换单大卷积层 ZF Net，2013...
神经网络及反向传播(bp)算法详解
神经元和感知器的本质一样神经元和感知器本质上是一样的，只不过感知器的时候，它的**函数是阶跃函数；而当我们说神经元时，**函数往往选择为sigmoid函数或tanh函数。如下图所示： 输入节点 每一个输入节点对应一个权值，输入节点可以是任意数。权重 W1，W2...Wn偏置项...
径向基函数神经网络RBFNN
概述径向基函数（Radial Basis Function）神经网络是具有唯一最佳逼近（克服局部极小值问题）、训练简洁、学习收敛速度快等良好性能的前馈型神经网络，目前已证明RBFNN能够以任意精度逼近任意连续的非线性网络，被广泛用于函数逼近、语音识别、模式识别、图像处理、自动控制和故障诊断等领域。全...
人工智能西瓜书学习笔记（五）——神经网络
五、神经网络1．神经元模型：神经网络是具有适应性的简单单元组成的广泛并行互连的网络，他的组织能够模拟生物神经系统对真实世界物体所做出的交叉反应。我们在机器学习中谈论神经网络时指的是“神经网络学习”，是机器学习与神经网络这两个学科领域的交叉部分。神经网络中最基本的成分是神经元模型，即上述定义中“简单单...
深度学习2-- 神经网络及反向传播
全连接神经网络概念使用非线性函数变换的多层感知机又称深度前馈网络、 深度神经网络 。这种网络的目的是使得整个模型近似于某个函数f∗f^{*}f∗ 。在前馈神经网络中定义了一个y=f(x;θ)y = f(x;\theta)y=f(x;θ)，并且学习参数θ\thetaθ的值，使得它能够到最佳的函数近似。...
异构图神经网络
1. 摘要 异构图表示学习的目的是为每个节点寻求一个有意义的向量表示，以方便后续应用，如链路预测、个性化推荐、节点分类等。然而,这个任务实现起来很困难。因为不仅需要将异构结构组成的多种类型的节点和边的信息整合,还需要考虑与每个节点相关联的异构属性、异构内容。尽管在同构图嵌入、属性图嵌入以及图神...
深度学习系列之神经网络
引言 随着人工智能时代的降临，深度学习（DeepLearning）成为继大数据、机器学习之后又一极具网络搜索热度的关键词，作为一名码农，如果不懂深度学习技术，感觉时刻要被同胞鄙视的样子。最近小编也在学习DL，独乐乐不如众乐乐，那么小编就带大家一起探寻深度学习技术中的奥秘，共同进步。什么是深度学习 ...
机器学习-学习笔记 神经网络
对数几率回归考虑分类问题时使用对数几率回归。 在二分类问题中，其输出标记y(0, 1)， 而在线性回归中，输出标记y是实值，所以我们需要将问题转为单位阶跃函数 但是可以看出，单位阶不连续，所以我们可以将函数转换为对数几率函数。 转化为 也可转换为 如何确定上述式子中的w和b我们可以通过使用极大似然法...
机器学习4--神经网络（好激动的一部分）
Neural Networks: Representation理论上我们可以用多项式函数去近似任意函数（泰勒极数(Taylor series)），从而可得到任意问题的拟合曲线。在数学中，泰勒级数（英语：Taylor series）用无限项连加式——级数来表示一个函数，这些相加的项由函数在某一点的导数...
深度学习之递归神经网络(Recurrent Neural Network，RNN)
为什么有bp神经网络、CNN、还需要RNN？BP神经网络和CNN的输入输出都是互相独立的；但是实际应用中有些场景输出内容和之前的内 容是有关联的。RNN引入“记忆”的概念；递归指其每一个元素都执行相同的任务，但是输出依赖于输入和“记忆”什么是递归神经网络 RNN我们已经学习了前馈网络的两种结构——b...
bp神经网络学习——matlab问题随手记1
一、matlab中clc和clear命令的作用：1.clc命令是命令窗口显示的内容，但并不清除工作空间，对工作环境中的全部变量无任何影响 ；2. clear命令是用来清除工作空间的内容，即清除工作空间的所有变量 。二、其它常用命令：1.close是关闭当前的Figure窗口； 2.close all...
网络安全之TCP/IP协议栈常见安全风险及防范办法
概览第一部分：按各层次攻击分类应用层：漏洞，缓冲区溢出攻击，WEB应用的攻击，病毒及木马传输层：TCP欺骗，TCP拒绝服务，UDP拒绝服务，端口扫描网络层：IP欺骗，Smurf攻击，ICMP攻击，地址扫描链路层：MAC欺骗，MAC泛洪，ARP欺骗物理层：设备破坏，线路监听第二部分：防火墙对常见攻击的...
卷积神经网络CNN 中用1*1 卷积过滤器的作用及优势
1*1卷积过滤器 和 正常的过滤器一样，唯一不同的是它的大小是1*1，没有考虑在前一层局部信息之间的关系。最早大神颜水成论文《Network In Network》 中使用1*1卷积 ，目的是想加深加宽网络结构 。后来谷歌GoogleNet的Inception网络（ Going Deeper wi...
循环神经网络（Recurrent Neural Network）
RNN是最常用的LSTM（LSTM由RNN转化而来）一般般用于记住之前的状态，以供后续神经网络的判断，它由input gate 、forget gate 、output gate 、和cell memory组成，每个LSTM本质上就是一个神经元，特殊之处在于有4个输入：zzz和三个门控制信号zi,z...
机器学习第四个算法ANN（人工神经网络）
我是在14年9月刚读研的时候听到一个说法叫“类人脑算法”很火热，之后搞了很长一段时间相关的蓄水池算法等，但大都没有摸到门路而中途放弃了。现今看来，还是缺少一些知识背景，也不善于在网络上学习，随时间推移，也逐渐明白这是机器学习的一小部分，并且逐渐发展的名称叫做人工神经网络的算法，如果网络层较多，又会有...
竞争网络
竞争学习是自组织网络中最常采用的一种学习策略。 一.基本概念先说明几个重要的概念。1. 模式、分类、聚类与相似性（1）模式在神经网络应用中，输入样本、输入模式和输入模式样本这样的术语基本上是等同的概念。在涉及识别、分类问题时，常用到输入模式的概念。模式是对某些感兴趣的客体的定量描述或结构描述，模式类...
神经网络中的前向和后向算法
看了一段时间的深度网络模型，也在tf和theano上都跑了一些模型，但是感觉没有潜下去，对很多东西的理解都只停留在“这个是干什么的”层次上面。昨天在和小老师一起看一篇文章的时候，就被问到RNN里面的后向传播算法具体是怎么推。当时心里觉得BP算法其实很熟悉啊，然后在推导的过程中就一脸懵逼了。于是...
卷积神经网络caffe
卷积神经网络caffe卷积神经网络是层级结构，但层的功能和形式做了变化，层包含：数据输入层 input layer卷积计算层 conv layerRelu激励层 Relu layer池化层 pooling layer全连接层 FC layer一、输入层 input layer1.1 图像预处理去...
Keras实现预训练网络VGG16迁移学习——猫狗大战分类【65行代码训练&预测】
文章目录一、简介二、训练代码三、训练结果四、预测代码五、预测结果一、简介迁移学习：一种非常强大的深度学习技术，它的动机很简单——“站在巨人肩膀上”。假设你想学习一门西班牙语，如果从已经掌握的英语学习便更加简单高效。VGG16：2014年牛津大学提出的模型，简洁实用，擅长图像分类和目标检测。猫狗大战数...