【文件属性】：
文件名称：pytorch-lars:PyTorch中的“分层自适应速率缩放”
文件大小：93KB
文件格式：ZIP
更新时间：2021-05-26 11:47:02
Python
火炬手
PyTorch中的分层自适应速率缩放
此存储库包含You，Gitman和Ginsburg撰写的论文《》中的逐层自适应速率缩放（LARS）的PyTorch实现。 最近包含了此版本的另一个版本。
运行，做
python train.py --optimizer LARS --cuda lars_results
它使用进行实验记录。 但是主优化器文件不依赖于该框架。
初步结果
我刚刚在CIFAR-10上使用ResNet18对此进行了测试。 我使用了标准的来训练非常大的批量。
批量大小
测试精度
64
89.39
256
85.45
1024
81.2
4096
73.41
16384
64.13
相比之下，使用带有动量的SGD，我能够使用几何衰减进度表（使用实现）在200个纪元内达到约93.5％的测试准确度。 但是，我尚未进行大量的超参数调整-我使用了本文建议的
【文件预览】：
pytorch-lars-master
----.gitignore(1KB)
----images()
--------lars_test_curves.jpg(96KB)
----conf.yaml(142B)
----lars.py(4KB)
----LICENSE(1KB)
----README.md(2KB)
----train.py(7KB)