【文件属性】：
文件名称：lm-evaluation-harness:一次评估自回归语言模型的框架
文件大小：86KB
文件格式：ZIP
更新时间：2021-04-05 08:05:16
Python
大型语言模型的评估工具
概述
该项目的目标是根据描述的GPT-3评估，构建一套用于评估典型NLU任务上的LM的工具。 按照最初的描述，此存储库应支持3个功能：
LM评估
从LM训练集中删除任务评估/测试数据
将任务训练数据添加到LM训练集中
任务概述
任务名称
火车
值
测试
指标
可乐
✓
✓
✓
抄送
li
✓
✓
✓
acc
mnli_mismatched
✓
✓
✓
acc
MRPC
✓
✓
✓
acc，f1
te
✓
✓
✓
acc
n里
✓
✓
✓
acc
qqp
✓
✓
✓
acc，f1
不锈钢
✓
✓
✓
acc
万里
✓
✓
✓
acc
布尔克
✓
✓
✓
acc
b
✓
✓
✓
acc，f1
美洲杯
✓
✓
✓
acc
多媒体
✓
✓
✓
acc
记录
✓
【文件预览】：
lm-evaluation-harness-master
----lm_eval()
--------models()
--------utils.py(2KB)
--------tasks()
--------metrics.py(5KB)
--------evaluator.py(4KB)
--------__init__.py(0B)
--------base.py(11KB)
----main.py(2KB)
----.github()
--------workflows()
----tests()
--------test_evaluator.py(883B)
--------test_tasks.py(3KB)
--------test_models.py(598B)
----requirements.txt(201B)
----setup.py(700B)
----LICENSE.md(1KB)
----.gitignore(30B)
----download_all.sh(536B)
----README.md(12KB)
----scripts()
--------fewshot_description_experiment.py(2KB)
--------cost_estimate.py(2KB)
--------write_out.py(2KB)
--------make_table_tasks.py(530B)
--------clean_training_data()
--------get_prompts.py(641B)
----CODEOWNERS(21B)