【文件属性】：
文件名称：pytorch-performer:使用pytorch的Performer简单实现
文件大小：7.78MB
文件格式：ZIP
更新时间：2021-03-20 02:26:31
nlp kernel transformer attention language-model
演员
pytorch Performer的简单实现。
模型
表演者使用随机特征图来近似内核。内核期望取代Transformer的“点积自关注”。
Softmax内核
kernel_transformation=softmax_kernel_transformation.
鲁鲁内核
kernel_transformation=relu_kernel_transformation
测试与范例
语言模型
动力总成
预训练屏蔽语言模型。
预训练文件： /example/train_mlm.py 。
配置文件： /example/config.json
用法
①准备要训练的数据集和词汇②检查config.json中的配置③运行/example/train_mlm.py
精读
去做
表演者绩效测试
编写测试示例
适用于语言模型
评估语言模型
参考
【文件预览】：
pytorch-performer-main
----model()
--------util.py(708B)
--------embedding.py(2KB)
--------performer.py(15KB)
----requirements.txt(26B)
----example()
--------util.py(0B)
--------arg.py(890B)
--------train_mlm.py(11KB)
--------dataset.py(4KB)
--------schedule.py(4KB)
--------config.json(367B)
--------colab-config.json(502B)
--------train_korquad.py(10KB)
--------korquad_utils.py(34KB)
----README.md(1KB)
----data()
--------wiki()
--------korquad()
--------wiki-vocab.txt(137KB)
--------vocab-v1.txt(149KB)