SimCLR:使用DistributedDataParallel的SimCLR Pytorch实现

时间:2021-05-02 19:54:32
【文件属性】:
文件名称:SimCLR:使用DistributedDataParallel的SimCLR Pytorch实现
文件大小:23KB
文件格式:ZIP
更新时间:2021-05-02 19:54:32
Python SimCLR-火炬 在使用DistributedDataParallel(1GPU:1Process)实现SimCLR。 这允许使用64 gpu将可伸缩性扩展为4096(由作者建议)的批处理大小,每个批处理大小为64,在FP32中的分辨率为224x224x3(请参阅下面的FP16支持)。 用法单个GPU NOTE0 :这不会产生SOTA结果,但是对于调试非常有用。 作者对SOTA使用4096+的批处理大小。 注意1 :设置你的github ssh令牌; 如果您从git clone获得身份验证问题,则很可能是这样。 > git clone --recursive git+ssh://git@github.com/jramapuram/SimCLR.git # DATADIR is the location of imagenet or anything that works with i
【文件预览】:
SimCLR-master
----docker()
--------Dockerfile(1KB)
--------run.sh(1KB)
----.github()
--------FUNDING.yml(21B)
----.gitmodules(189B)
----objective.py(4KB)
----main.py(31KB)
----requirements.txt(1KB)
----helpers()
----datasets()
----LICENSE(1KB)
----environment.yml(5KB)
----README.md(5KB)
----slurm()
--------run.sh(2KB)
----.gitignore(1KB)
----optimizers()
--------lars.py(4KB)
--------scheduler.py(2KB)

网友评论