【文件属性】：
文件名称：ALBERT-TF2.0:使用TF2.0的ALBERT模型预训练和微调
文件大小：183KB
文件格式：ZIP
更新时间：2021-03-08 14:35:58
classifier glue tf2 mlm albert
阿尔伯特-TF2.0
使用TF2.0的ALBERT模型微调
该存储库包含针对ALBERT的TensorFlow 2.0实现。
要求
python3
点安装-r requirements.txt
ALBERT预训练
从零开始的ALBERT模型预训练和特定于域的微调。 说明
下载ALBERT TF 2.0砝码
Verison 1
版本2
将模型解压缩到存储库中。
以上重量不包含原始模型中的最后一层。 现在只能用于微调下游任务。
从TF-HUB到TF 2.0全权转换
下载胶水数据
使用以下cmd下载
python download_glue_data.py --data_dir glue_data --tasks all
微调
要准备用于最终模型训练的微调数据，请使用脚本。 tf_record格式的结果数据集和训练元数据应稍后传递给训练或评估脚本。 特定于任务的参数将在以下各节中介绍：
【文件预览】：
ALBERT-TF2.0-master
----input_pipeline.py(9KB)
----albert_model.py(11KB)
----albert.py(37KB)
----utils()
--------evaluate-v2.0.py(10KB)
--------__init__.py(0B)
--------tf_utils.py(6KB)
--------evaluate-v1.1.py(3KB)
----run_squad.py(33KB)
----converter.md(2KB)
----tokenization.py(15KB)
----run_classifer.py(16KB)
----create_finetuning_data.py(5KB)
----img()
--------squad_2.png(99KB)
----run_pretraining.py(10KB)
----create_pretraining_data.py(23KB)
----requirements.txt(71B)
----optimization.py(17KB)
----pretraining.md(7KB)
----LICENSE(11KB)
----README.md(8KB)
----squad_lib.py(39KB)
----model_configs()
--------xxlarge()
--------large()
--------base()
--------xlarge()
----classifier_data_lib.py(29KB)
----converter.py(8KB)
----.gitignore(1KB)
----download_glue_data.py(8KB)
----model_training_utils.py(15KB)