梯度下降优化器Optimization
前言梯度下降算法是机器学习中使用非常广泛的优化算法，梯度可以理解成山坡上某一点上升最快的方向，它的反方向就是下降最快的方向。要想下山最快，那么就要沿着梯度的反方向走，最终到达山底（全局最优点）。梯度下降优化器就是为了找到最快的下山策略。目前最常用的优化器有SGD、SGD+momentum、NAG、a...
Adam优化器简单理解和实现
前言：因为要实现GAN，简单理解一下训练过程需要用到的Adam优化器。一、简单认识Adam（自适应矩估计 Adaptive moment estimation）翻译：参数设定： (元素乘操作)，：步长或称学习率（stepsize）；：矩估计的指数衰减率；：参数的随机目标函数值；：初始参数向量；：初始...
SGD，Adam等优化器整理使用
优化器的比较几种常见优化器SGD（Stochastic Gradient Descent）Mini-batch Gradient Descent改进版优化器momentum动量AdagradAdadeltaRMSpropAdam：Adaptive Moment Estimation实验表明如何选择优...
PostgreSQL查询优化器详解之物理优化篇
本文的部分内容摘自《PostgreSQL技术内幕：查询优化深度探索》，并且修改为以小明、大明、牛二哥三人对话的方式展现，该文首发自DBAPlus的公众号。关于统计信息与选择率 “咚咚咚……”门外传来了敲门声，大明打开门一看，原来是同事牛二哥。牛二哥是专门从事数据库查询优化开发的码农，也有十几年从业...
Linux性能优化实战 47-48 服务器丢包的检测思路
1. 执行 wrk 命令，来测试 Nginx 的性能可以看到吞吐量（也就是每秒请求数）只有 189，并且所有 1910 个请求收到的都是异常响应（非 2xx 或 3xx）。数据显然表明，吞吐量太低了，并且请求处理都失败。以下开始查找原因。2. 使用ss查看 TCP 连接数的汇总情况成功建立连接数太少...
Neo4j 浏览器节点显示卡顿优化
一开始使用Neo4j-browser做查询显示节点时，节点数量超过了500就卡顿的不行，今天在调试谷歌浏览器卡顿的问题时，发现使用Shift+Esc查看谷歌浏览器内置任务管理器中GPU占用内存和CPU最高，通过chrome://settings/ 将硬件加速关掉后，再去查询Neo4j发现节点数量增...
SSM实现图片上传(优化)，放入linux中的tomcat的服务器
此篇文章适合知道如何用SSM框架 实现 服务器 和 本地资源 之间的图片上传的人。如不知道，请看我之前写的这篇文章SSM实现图片上传进入正题由于图片放在当前运行的项目下的服务器中，只要重启服务器，就会重新部署，曾经上传的图片就没了。所以我们需要在linux下搭建一个静态资源的服务，将图片以及js、v...
【GAN优化】小批量判别器如何解决模式崩溃问题
GAN的第二季开始更新了，还是熟悉的配方，还是熟悉的味道。第一季更新了12篇小文，只解读了GAN的冰山一角，第二季将作为第一季的“零零星星”的补充，讲解包括其他的损失函数、训练算法等等方面，并且会扩展到隐空间、离散数据等方向。今天将先介绍一个处理模式崩溃问题的小方法—小批量判别器，作为对上一季模式崩...
论文翻译：A PID Controller Approach for Stochastic Optimization of Deep Networks——一种用于深度网络随机优化的PID控制器方法
AbstractDeep neural networks have demonstrated their power in many computer vision applications. State-of-the-art deep architectures such as VGG, ResN...
SQL Server查询优化器的工作原理
SQL Server的查询优化器是一个基于成本的优化器。它为一个给定的查询分析出很多的候选的查询计划，并且估算每个候选计划的成本，从而选择一个成本最低的计划进行执行。实际上，因为查询优化器不可能对每一个产生的候选计划进行优化，所以查询优化器会在优化时间和查询计划的质量之间进行一个平衡，尽可能的选择一...
Mysql 查询优化器
MySQL Query Optimizer(查询优化器)图中Optimizer部分为本文研究的重点，主要对Parser解析之后的SQL，根据统计的数据，对访问代价进行权衡，制定执行计划。查询优化器是MySQL中比较活跃的一部分，代码会经常变动。但整体而言，对查询优化器整体把握和理解之后，其他的版本也...
MySQL查询优化之优化器工作流程以及优化的执行计划生成
查看查询成本查询上一次SQL的成本，单位页SHOW STATUS LIKE 'Last_query_cost'上述结果表示 MySQL 的优化器认为大概需要 12个数据页的随机查找才能完成上述的查询。优化器做了什么？语法树被认为合法时，优化器会将其转化成执行计划。一条查询可以有很多种执行方式，最后都...
轻量级HTTP服务器Nginx(Nginx性能优化技巧)
轻量级HTTP服务器Nginx(Nginx性能优化技巧)文章来源于南非蚂蚁一、编译安装过程优化1.减小Nginx编译后的文件大小在编译Nginx时，默认以debug模式进行，而在debug模式下会插入很多跟踪和ASSERT之类的信息，编译完成后，一个Nginx要有好几兆字节。在编译前取消Nginx的...
编译器优化--6--代码移动
编译器优化–6--代码移动将一个计算移动到相比原来位置执行得不那么频繁的位置上，可以减少运行程序执行的总操作数。因为相对于包围循环的代码来说，循环本身倾向于执行多得多的次数，所以此领域的大部分工作都专注于将不变的表达式从循环中移出。该变换插入代码以使这些操作在所有代码路径上都变成冗余的，并删除这些新...
Tensorflow笔记（二）：激活函数、优化器等、神经网络模型实现（商品销量预测）
import tensorflow as tfimport numpy as npfrom tqdm import tqdm# ----------------------------- tensor常用函数2 -----------------------------------a = tf.co...
MySQL优化器中一个Count和覆盖索引的问题
前天在微薄上发了个优化器的问题，从评论来看，还是需要简单说明一下。 现象说明 其实这里主要要说明的是一个优化器还需要改进的地方。 优化器会根据where条件和select_list里面的字段决定在使用一个索引(sta)后，是否需要回表—回到聚集索引取数据。 基本的做法是：在确定...
zynq 轻量级以太网控制器LWIP传输速度优化
在sdk中选择lwip模板，编译调试可轻松连接成功并进行通信，模板中代码完成的任务是client给server发什么，server就会回复什么。 但是传输速度非常低下，只有50KB左右，所以需要改进速度，修改lwip BSP中的设置参数可明显改进传输速度，默认BSP参数是：需要...
常用的优化器及其优缺点
1. SGD在这里SGD和mini-batch是同一个意思，抽取m个小批量(独立同分布)样本，通过计算他们的平均梯度均值。缺点：(1) leraning rate 选择太小，收敛速度会很慢，如果太大，则loss function会在极小值附近不停的震荡，甚至片偏离。(2) 容易被困在鞍点。 2. M...
优化器（Optimizer）介绍
Gradient Descent（Batch Gradient Descent，BGD）梯度下降法是最原始，也是最基础的算法。它将所有的数据集都载入，计算它们所有的梯度，然后执行决策。（即沿着梯度相反的方向更新权重）优点是在凸函数能收敛到最小值。但显而易见的是，这方法计算量太大。假如我们的数据集很大...
使用注册表优化终端、编辑器的中英字体混合显示，如「Consolas + 雅黑」「Monaco + 雅黑」
在终端、cmd、编辑器中偶尔会有中文字符出现，Windows下默认的点阵字体「宋体」和等宽英文字符放在一起非常违和。一个解决方法是下载混合字体，比如「Consolas + ...