【文件属性】：
文件名称：cogs-pretrained-lms:在COGS基准上使用预训练的LM进行实验
文件大小：4.26MB
文件格式：ZIP
更新时间：2021-03-30 21:20:19
Python
使用预训练的语言模型进行语义解释
首先，从源代码安装huggestface 和库。 此处的代码改编自“ 存储库。
我已经将所有拆分预处理并保存在目录内的json文件中。 要在COGS训练集上微调一个预先训练的小型T5模型，然后在泛化集上进行评估，请运行例如：
python -u run_translation.py \
--model_name_or_path t5-small \
--use_pretrained_weights True \
--do_train \
--do_predict \
--source_lang en \
--target_lang en \
--finetune_target_lang mentalese \
--source_prefix "translate English to En
【文件预览】：
cogs-pretrained-lms-master
----run_mbart.sh(890B)
----results()
--------accuracies_t5-small_pretrained.json(720B)
--------accuracies_t5-large_pretrained.json(725B)
--------accuracies_t5-base_scratch.json(715B)
--------accuracies_t5-small_scratch.json(721B)
--------accuracies_t5-large_scratch.json(716B)
--------accuracies_t5-base_pretrained.json(724B)
----run_t5.sh(909B)
----requirements.txt(300B)
----README.md(2KB)
----run_m2m100.sh(876B)
----gen_conditions.txt(539KB)
----data()
--------train100testdev.json(7.15MB)
--------train_100.json(6MB)
--------test.json(588KB)
--------dev.json(589KB)
--------traintestdev.json(5.73MB)
--------debug.json(0B)
--------gen.json(5.67MB)
--------train.json(4.58MB)
----.gitignore(71B)
----run_translation.py(27KB)