T2T-ViT

【文件属性】：
文件名称：T2T-ViT
文件大小：3.26MB
文件格式：ZIP
更新时间：2021-03-06 06:36:29
vit vision-transformer t2t-transformer JupyterNotebook 令牌到令牌的ViT：在ImageNet上从头开始培训视觉变形金刚， 更新： 2021/03/02：更新我们的新结果。 现在，通过在ImageNet上从头开始训练，具有21.5M参数的T2T-ViT-14可以达到81.5％的top1-acc。 2021/02/21：我们的T2T-ViT可以使用“ --amp”（自动混合精度）稳定地在大多数常见GPU上进行训练：1080Ti，2080Ti，TiTAN V，V100。 在某些特定的GPU（例如Tesla T4）中，“ amp”在训练T2T-ViT时会导致NAN损失。 如果您在训练中失去NAN，可以通过在删除'--amp'来禁用amp。 2021/02/14：更新token_performer.py，现在可以在具有12G内存的4个GPU上训练T2T-ViT-7，T2T-ViT-10，T2T-ViT-12，其他T2T-ViT也可以在4个或4个

【文件预览】：
T2T-ViT-main
----visualization_vit.ipynb(188KB)
----distributed_train.sh(305B)
----models()
--------t2t_vit_se.py(6KB)
--------token_performer.py(2KB)
--------__init__.py(306B)
--------t2t_vit_dense.py(7KB)
--------token_transformer.py(2KB)
--------transformer_block.py(3KB)
--------t2t_vit.py(12KB)
--------t2t_vit_ghost.py(8KB)
----images()
--------f1.png(2.25MB)
--------dog.png(435KB)
--------resnet_conv1.png(82KB)
--------vit_block1.png(80KB)
--------attention_visualization.png(627KB)
----main.py(35KB)
----LICENSE(2KB)
----README.md(7KB)
----visualization_resnet.ipynb(225KB)