【文件属性】：
文件名称：BERT-PyTorch:BERT用于分布式PyTorch + AMP培训
文件大小：83KB
文件格式：ZIP
更新时间：2021-05-08 15:54:02
Python
BERT对于PyTorch
该存储库提供了用于在PyTorch中对BERT进行预训练和微调的脚本。
目录
概述
该存储库提供用于数据下载，预处理，预训练和微调 （来自变压器的双向编码器表示）的脚本。 此实现基于的它是和Google实现的优化版本。
NVIDIA和原始（Hugging Face）实施之间的主要区别是[ ref ]：
数据下载和预处理脚本
融合的LAMB优化器，用于大批量培训
融合亚当优化器进行微调
用于LayerNorm的融合CUDA内核
使用NVIDIA Apex自动进行混合精度培训
Docker容器的基准测试脚本
此版本与NVIDIA实现之间的主要区别在于：
脚本旨在在包含的Conda环境中运行，而不是在Docker容器中运行
增强的数据预处理以在可能的情况下支持多处理
PyTorch AMP代替Apex
生活质量的变化
通过TensorBoard支持更好地记录
【文件预览】：
BERT-PyTorch-master
----NOTICE(316B)
----config()
--------bert_large_uncased_config.json(558B)
--------roberta_pretraining_config.json(409B)
--------bert_pretraining_phase2_config.json(373B)
--------roberta_large_cased_config.json(556B)
--------bert_kfac_pretraining_phase1_config.json(310B)
--------bert_pretraining_phase1_config.json(340B)
----environment.yml(300B)
----LICENSE(11KB)
----src()
--------ner_dataset.py(4KB)
--------tokenization.py(11KB)
--------utils.py(2KB)
--------dataset.py(22KB)
--------__init__.py(0B)
--------optimization.py(7KB)
--------file_utils.py(9KB)
--------schedulers.py(5KB)
--------modeling.py(60KB)
----requirements.txt(175B)
----run_ner.py(9KB)
----.gitignore(2KB)
----run_pretraining.py(24KB)
----run_squad.py(55KB)
----README.md(9KB)
----utils()
--------encode_data.py(12KB)
--------build_vocab.py(3KB)
--------format.py(7KB)
--------shard.py(3KB)
--------download.py(11KB)
----scripts()
--------run_squad.sh(1KB)
--------run_ner.sh(1KB)
--------create_datasets.sh(5KB)
--------kill_python_procs.sh(108B)
--------launch_pretraining.sh(2KB)
--------run_pretraining.sbatch(2KB)
--------run_pretraining.cobalt(1KB)