【文件属性】：
文件名称：BERT-pytorch：Google AI 2018 BERT pytorch实施
文件大小：28KB
文件格式：ZIP
更新时间：2021-02-03 15:19:17
nlp pytorch transformer language-model bert
伯特·比托奇
Google AI的2018 BERT的Pytorch实现，带有简单注释
BERT 2018 BERT：用于语言理解的深度双向变压器的预培训论文URL： :
介绍
Google AI的BERT论文显示了在各种NLP任务（新的17个NLP任务SOTA）上的惊人结果，包括在SQuAD v1.1 QA任务上的表现优于人类F1得分。 本文证明，通过适当的语言模型训练方法，基于Transformer（自注意）的编码器可以有效地替代先前的语言模型。 更重要的是，他们向我们展示了这种预先训练的语言模型可以转移到任何NLP任务中，而无需建立特定于任务的模型体系结构。
这个惊人的结果将记录在NLP的历史中，我希望有关BERT的更多论文很快就会发表。
此回购是BERT的实现。 代码非常简单，易于理解。 其中一些代码基于带
目前，该项目正在进行中。 并且代码尚未验证。
安装
pip install bert-pytorch
快速开始
注意：您的语料库应准备成两行，并使用tab（\ t）分隔符
0.准备语料库
Welcome to the \t the jungle\n
I can s
【文件预览】：
BERT-pytorch-master
----setup.py(2KB)
----.gitignore(3KB)
----requirements.txt(23B)
----Makefile(61B)
----LICENSE(11KB)
----README.md(4KB)
----test.py(101B)
----.circleci()
--------config.yml(2KB)
----bert_pytorch()
--------model()
--------dataset()
--------__init__.py(24B)
--------trainer()
--------__main__.py(4KB)