牛顿法与拟牛顿法，DFP法，BFGS法，L-BFGS法
牛顿法考虑如下无约束极小化问题：$$\min_{x}f(x)$$其中$x\inR^N$,并且假设$f(x)$为凸函数，二阶可微。当前点记为$x_k$,最优点记为$x^*$。梯度下降法用的是一阶偏导，牛顿法用二阶偏导。以标量为例，在当前点进行泰勒二阶展开：$$\varphi(x)=f(x_k)+f'(...
DFP广告管理系统的一些使用经验
不得不说，Google的DFP广告管理系统是个很牛逼的产品，对于需要进行站内广告管理的网站主来说，这是一件得心应手的武器
网站上使用Google DFP广告管理系统来刊登广告的教程
这篇文章主要介绍了网站上使用Google DFP来刊登广告的教程,主要是为了突破普通苹果Google AdSense的一些限制,需要的朋友可以参考下
使用 Google DFP 广告管理系统投放和管理博客广告
Google 在 2008 年 3 月收购 DoubleClick 以来，对广告管理系统进行了诸多改进，使得更加便捷地管理广告资源和广告运作。
梯度下降法(BGD、SGD)、牛顿法、拟牛顿法（DFP、BFGS）、共轭梯度法
一、梯度下降法梯度：如果函数是一维的变量，则梯度就是导数的方向； 如果是大于一维的，梯度就是在这个点的法向量，并指向数值更高的等值线，这就是为什么求最小值的时候要用负梯度梯度下降法（GradientDescent） 梯度下降法是最早最简单，也是最为常用的最优化方法。梯度下降法实现简单，当目标函数...
牛顿法与拟牛顿法学习笔记（三）DFP 算法
机器学习算法中经常碰到非线性优化问题，如SparseFiltering算法，其主要工作在于求解一个非线性极小化问题。在具体实现中，大多调用的是成熟的软件包做支撑，其中最常用的一个算法是L-BFGS。为了解这个算法的数学机理，这几天做了一些调研，现把学习过程中理解的一些东西整理出来。目录链接(1) 牛...
拟牛顿 DFP matlab
functionsevnnx=[1,0]';[x,val]=dfp('fun','gfun',x)endfunctionf=fun(x)f=100*(x(1)^2-x(2))^2+(x(1)-1)^2;endfunctiong=gfun(x)g=[400*x(1)*(x(1)^2-x(2))+2*(...