paracel:带参数服务器的分布式优化框架

【文件属性】：
文件名称：paracel:带参数服务器的分布式优化框架
文件大小：243KB
文件格式：ZIP
更新时间：2021-05-30 14:41:55
C++ 西沙概览 Paracel是一个分布式计算框架，旨在解决许多机器学习问题：Logistic回归，SVD，矩阵分解（BFGS，sgd，als，cg），LDA，Lasso ... 首先，paracel 分裂了海量数据集和海量参数空间。 与 Mapreduce-Like 系统不同，paracel 提供了一个简单的通信模型，允许您使用全局分布式键值存储，这称为参数服务器。 使用 paracel 时，您可以使用以下规则构建算法：“学习前拉参数，学习后推送本地更新”。 它是一个相当简单的模型（与 MPI 相比），从串行到并行的转换几乎是无痛的。 其次，paracel尝试解决迭代任务的“最后减少者”问题。 我们使用有界陈旧性并在“improve-iter”曲线和“iter-sec”曲线之间找到一个最佳点。 全局调度器负责异步工作。 该方法已经被 CMU 证明是 Bsp/Pregel 的推广。 P