ai-sgd:在随机梯度下降中走向稳定性和最优性

【文件属性】：
文件名称：ai-sgd:在随机梯度下降中走向稳定性和最优性
文件大小：34KB
文件格式：ZIP
更新时间：2021-06-04 21:24:40
R 随机梯度下降的稳定性和最优性 这是正在进行的论文的方法和算法的随附代码实现。 维护者 Dustin Tran < > 参考 弗朗西斯·巴赫 (Francis Bach) 和埃里克·穆林 (Eric Moulines)。 收敛速度为 O(1/n) 的非强凸平滑随机近似。 神经信息处理系统的进展，2013 年。 杰罗姆·弗里德曼、特雷弗·哈斯蒂和罗伯特·蒂布希拉尼。 通过坐标下降的广义线性模型的正则化路径。 统计软件杂志，33(1):1-22, 2010。 瑞·约翰逊和张彤。 使用预测方差减少加速随机梯度下降。 神经信息处理系统的进展，2013 年。 大卫·鲁珀特。 来自缓慢收敛的 robbins-monro 过程的有效估计。 技术报告，康奈尔大学运筹学和工业工程，1988 年。 魏旭。 使用平均随机梯度下降实现最优的一次通过大规模学习。 arXiv 预印本 , 2011。

【文件预览】：
ai-sgd-master
----sgd.R(6KB)
----.gitignore(27B)
----functions.R(14KB)
----svm()
--------Makefile(3KB)
--------svmaisgd.cpp(13KB)
--------README.md(3KB)
----functions_logistic.R(5KB)
----examples()
--------exp_normal_n5p2.R(2KB)
--------data_viz.R(710B)
--------exp_logistic_mnist.R(1KB)
--------exp_logistic_covertype.R(1KB)
--------exp_poisson_n4p1.R(741B)
--------implicit_cox.R(6KB)
--------exp_normal_correlated.R(1KB)
----README.md(1KB)
----batch.R(2KB)
----theory()
--------optimal_aisgd_experiments.R(2KB)
--------optimal_aisgd.R(2KB)
--------polyak.R(6KB)
--------optimal_aisgd_glms.R(3KB)
--------simple-poisson.R(7KB)