【文件属性】：
文件名称：ConvDeltaOrthogonal-Init:ConvDelta正交初始化器的PyTorch实现
文件大小：131KB
文件格式：ZIP
更新时间：2021-05-03 00:14:07
Python
转换Delta正交初始化器
PyTorch实现
用法
安装
开始训练（默认值：Cifar-10）
python train.py
可视化学习曲线
python tools/plot.py log-xxx.txt log-yyy.txt
Resfar on Cifar-10
我们在Resnet-50、101、152上进行了实验。为了适应初始化程序，我们将resnet的块扩展从4修改为1，以使out_channels始终不小于in_channels 。
学习率初始化为0.1 ，在第100步除以10，然后在150处终止，然后在第200步终止。
参考
可以在上找到更多讨论。 看来，目前该理论适用于具有tanh活化作用的Vanilla CNN。 与ReLU激活或其他现代体系结构的跳过连接仍然是一个未解决的问题。
【文件预览】：
ConvDeltaOrthogonal-Init-master
----.gitignore(55B)
----results()
--------resnet-cifar-10.png(126KB)
----train.sh(298B)
----models()
--------__init__.py(45B)
--------vanilla.py(2KB)
--------resnet.py(7KB)
----LICENSE(1KB)
----tools()
--------plot.py(1KB)
----utils.py(2KB)
----README.md(1KB)
----_ext()
--------__init__.py(15B)
--------nn()
----train.py(11KB)