【文件属性】：
文件名称：transformer-pytorch:简单的pytorch变压器实现示例
文件大小：531KB
文件格式：ZIP
更新时间：2021-03-08 21:46:03
transformer Python
变压器
中简单的变压器pytorch实现。
模型
model
ㄴ transformer.py ﹒﹒﹒ 트랜스포머 모델
ㄴ util.py ﹒﹒﹒ 모델에 사용되는 유틸
ㄴ visualization.py ﹒﹒﹒ 모델의 각 부분 시각화
train_translation.py﹒﹒﹒ 한국어-영어 번역 학습
run_translation.py ﹒﹒﹒ 한국어-영어 번역 테스트
例子
1.掩盖语言模型
在掩盖语言模型任务上进行预训练转换器，并在korquad 1.0数据集上进行微调测试。 korquad 1.0是韩国队数据集。
模型
完全符合
f1分数
变压器-mlm
56.47
83.04
科伯特
51.75
79.15
2. Ko-En翻译
使用AI Hub Ko-En翻译数据集。
数据
①AI Hub Ko-En翻译样本数
【文件预览】：
transformer-pytorch-main
----images()
--------transformer.png(216KB)
--------transformer-translation.png(221KB)
----requirements.txt(7B)
----data()
--------test.csv(11KB)
--------wiki-vocab.txt(137KB)
--------vocab-v1.txt(149KB)
----model()
--------visualization.py(573B)
--------util.py(708B)
--------transformer.py(11KB)
----README.md(5KB)
----example()
--------language_model()
--------translation()
----util.py(4KB)
----preprocess.py(122B)
----dataset.py(2KB)