线性模型之逻辑回归(LR)(原理、公式推导、模型对比、常见面试点) 3种类型的梯度下降算法总结李宏毅机器学习笔记2：Gradient Descent(附带详细的原理推导过程） 任何模型都会面临过拟合问题，所以我们也要对逻辑回归模型进行正则化考虑。常见的有L1正则化和L2正则化。
参考资料(要是对于本文的理解不够透彻，必须将以下博客认知阅读，方可全面了解LR)：(1).https://zhuanlan.zhihu.com/p/74874291...
【机器学习】李宏毅——Domain Adaptation(领域自适应)
在前面介绍的模型中，一般我们都会假设训练资料和测试资料符合相同的分布，这样模型才能够有较好的效果。而如果训练资料和测试资料是来自于不同的分布，这样就会让模型在测试集上的效果很差，这种问题称为Domain shift。那么对于这种两者分布不一致的情况，称训练的资料来自于Source Domain，测试...
【机器学习】李宏毅——Adversarial Attack（对抗攻击）
研究这个方向的动机，是因为在将神经网络模型应用于实际场景时，它仅仅拥有较高的正确率是不够的，例如在异常检测中、垃圾邮件分类等等场景，那些负类样本也会想尽办法来“欺骗”模型，使模型无法辨别出它为负类。因此我们希望我们的模型能够拥有应对这种攻击的能力。How to Attack通过影像辨识的例子来解释如...
【机器学习】李宏毅——Explainable ML(可解释性的机器学习)
在前面的学习之中，我们已经学习了很多的模型，它能够针对特定的任务，接受我们的输入并产生目标的输出。但我们并不满足于此，我们甚至希望机器告诉我们，它是如何得到这个答案的，而这就是可解释的机器学习。Why we need Explainable ML首先我们要明确，即使我们训练出来的模型能够得到一个正确...
【机器学习】李宏毅——Flow-based Generative Models
前文我介绍了部分关于生成学习的内容，可以参考我这篇博文点此前面介绍的各个生成模型，都存在一定的问题：对于PixelRNN这类模型来说，就是从左上角的像素开始一个个地进行生成，那么这个生成顺序是否合理，每一个像素是否只与它前面的像素有关，这就是其问题VAE的问题在前文就已经提到，它只能够学会模仿训练集...
【机器学习】李宏毅——Unsupervised Learning
读这篇文章之间欢迎各位先阅读我之前写过的线性降维的文章。这篇文章应该也是属于Unsupervised Learning的内容的。Neighbor EmbeddingManifold Learning（流形学习）在实际的数据中，很可能会存在这一种分布：左边这个分布可以看成原先在二维平面上的分布硬塞到一...
【机器学习】李宏毅——Anomaly Detection（异常检测）
异常检测概述首先要明确一下什么是异常检测任务。对于异常检测任务来说，我们希望能够通过现有的样本来训练一个架构，它能够根据输入与现有样本之间是否足够相似，来告诉我们这个输入是否是异常的，例如下图：那么这里“异常”具体的含义要根据我们训练集而定，不是说异常就一定是不好的东西，例如下面几个例子就可以更好的...
【机器学习】李宏毅——AE自编码器(Auto-encoder)
1、What在自编码器中，有两个神经网络，分别为Encoder和Decoder，其任务分别是：Encoder：将读入的原始数据（图像、文字等）转换为一个向量Decoder：将上述的向量还原成原始数据的形式而目标是希望还原出来的结果能够与原始数据尽可能的接近。其中的向量可称为Embedaing、Rep...
【机器学习】李宏毅——自监督式学习
1、BERT简介首先需要介绍什么是自监督学习。我们知道监督学习是有明确的样本和对应的标签，将样本丢进去模型训练并且将训练结果将标签进行比较来修正模型，如下图：而自监督学习就是没有标签也要自己创建监督学习的条件，即当前只有样本x但是没有标签\(\hat{y}\)，那具体的做法就是将样本x分成两部分\(...
【机器学习】李宏毅——生成式对抗网络GAN
1、基本概念介绍1.1、What is Generator在之前我们的网络架构中，都是对于输入x得到输出y，只要输入x是一样的，那么得到的输出y就是一样的。但是Generator不一样，它最大的特点在于多了另外一个具有随机性的输入，如下图：其中输入除了x之外，还有一个z，而z是从一个已知的分布之中进...
【机器学习】李宏毅——Transformer
Transformer具体就是属于Sequence-to-Sequence的模型，而且输出的向量的长度并不能够确定，应用场景如语音辨识、机器翻译，甚至是语音翻译等等，在文字上的话例如聊天机器人、文章摘要等等，在分类问题上如果有问题是一些样本同时属于多个类也可以用这个的方法来求解。只要是输入向量，输出...
【机器学习】李宏毅——Recurrent Neural Network(循环神经网络)
假设我们当前要做一个人工智能客服系统，那该系统就需要对用户输入的话语进行辨认，例如用户输入：I want to arrive Taipei on November 2nd那么该系统就能够辨认出来Taipei是目的地，而后面是时间。那么我们可以用一个简单的前向网络来实现这个事情，输出为这个单词属于哪个...
【机器学习】李宏毅——线性降维
降维，可以用下面这张图来很简单的描述，就是将不同的、复杂的多种树都抽象成最简单的树的描述，也就是我们不关心这棵树长什么样子有什么特别的特征，我们只需要降维，知道它是一棵树即可。维度下降实际上就是找到一个function，使得输入x得到输出z，而输出z的维度要比输入x的维度小。具体有几种方面，下面就先...
【机器学习】李宏毅——自注意力机制(Self-attention)
前面我们所讲的模型，输入都是一个向量，但有没有可能在某些场景中输入是多个向量，即一个向量集合，并且这些向量的数目并不是固定的呢？这一类的场景包括文字识别、语音识别、图网络等等。那么先来考虑输出的类型，如果对于输入是多个数目不定的向量，可以有以下这几种输出方式：每个向量对应一个输出：输出的数目与输入向...
【机器学习】李宏毅——从逻辑回归推导出神经网络
假设现在有两种类别的样本，其类别分别为\(C_1\)和\(C_2\)，而拥有的样本数分别为\(N_1\)和\(N_2\)，那么假设每个样本都是从其类别对应的高斯分布中取出来的，那么则可以进行如下推导：那么就可以得到《统计学习方法》中第六章的逻辑回归对于两类概率的定义（解决了我的疑惑）那么逻辑回归就是...
【机器学习】李宏毅——类神经网络训练不起来怎么办
如何判断导数值为零的点的类型当发现训练数据集误差不再下降的时候，不是只有卡在局部最小值的情况，还有另外一种情况是处于鞍点，鞍点位置处虽然其导函数为零，但是其既不是局部最大值也不是局部最小值，如图：因此，我们把局部最小值和鞍点这种点统称为驻点（critical point），但这两种情况是截然不同的，...
【机器学习】李宏毅——机器学习任务攻略
这一节的主要内容是当测试数据的准确度不够高的时候应该怎么做。首先一定要检查你的训练数据集的误差，如果发现是你的训练数据集误差也比较大，那么就有两种可能：模型过于简单，无法很好的拟合当前的数据集陷入局部最优价，也就是优化算法做的不够好那么如果分辨这两种情况呢？找模型来比较例如在上图，一个20层的神经网...
【李宏毅机器学习】自编码器auto-encoder
文章目录 一、auto-encoder二、自编码器的应用2.1 Feature Disentangle2.2 Text as Representation（学会产生摘要）2.3 Anomaly Detection（欺诈检测）三、HW8：FCN auto-encoder四、VAEs在推荐系统的应用...
李宏毅机器学习第一课
疑问：机器学习可以看做是拉普拉斯妖么？即一切皆有前因后果，只要提供足够多的因，便产生足够精确的果 step1-2:足够的data然后设定a set of function,然后评判这一系列functions的goodness。 step3：使用Gradient Descent方法，通过微分找出最...
李宏毅机器学习笔记4：Brief Introduction of Deep Learning、Backpropagation(后向传播算法)
李宏毅老师的机器学习课程和吴恩达老师的机器学习课程都是都是ML和DL非常好的入门资料，在YouTube、网易云课堂、B站都能观看到相应的课程视频，接下来这一系列的博客我都将记录老师上课的笔记以及自己对这些知识内容的理解与补充。(本笔记配合李宏毅老师的视频一起使用效果更佳！）Lecture 6: Br...