【文件属性】：
文件名称：BPE-Dropout:BPE-Dropout的正式实施
文件大小：236KB
文件格式：ZIP
更新时间：2021-05-21 17:47:25
Python
BPE退出
引入的“ BPE-Dropout”算法的正式实现
介绍
该存储库包含原始论文中使用的BPE-Dropout算法的参考实现。 该存储库不包含用于构建BPE合并表的代码，为简单起见，它依赖于外部BPE合并表。 请注意，在执行子词分段的几个最常用的软件包中已经实现了BPE丢弃算法（请参阅）。 我们鼓励使用这些实现，因为它们提供了合并表的构建和其他有用的功能。
在使用这些语句时，请记住，我们的算法应应用于每个新的批处理或新的纪元，以获取同一句子的多个分段。
用法示例
BPE（并且BPE-dropout继承了这一点）需要一个合并表来进行操作。 在此示例中，我们将使用生成的合并表：
merge_table_path = './example/subword_nmt.voc'
from bpe import load_subword_nmt_table, BpeOnlineTokeniz
【文件预览】：
BPE-Dropout-master
----bpe.py(6KB)
----example()
--------segmentations.png(96KB)
--------example_subword_nmt.py(644B)
--------subword_nmt.voc(349KB)
----LICENSE(1KB)
----README.md(5KB)