bert_distill：BERT蒸馏（基于BERT的蒸馏实验）

【文件属性】：
文件名称：bert_distill：BERT蒸馏（基于BERT的蒸馏实验）
文件大小：30.23MB
文件格式：ZIP
更新时间：2021-02-03 18:29:02
nlp classification bert distillation NaturallanguageprocessingPython 基于BERT的蒸馏实验 参考论文《从BERT提取任务特定的知识到简单神经网络》 分别采用keras和pytorch基于textcnn和bilstm（gru）进行了实验 实验数据分割成1（有标签训练）：8（无标签训练）：1（测试） 在情感2分类服装的数据集上初步结果如下： 小模型（textcnn＆bilstm）准确率在0.80〜0.81 BERT模型准确率在0.90〜0.91 蒸馏模型准确率在0.87〜0.88 实验结果与论文某些基本一致，与预期相符 后续将尝试其他更有效的蒸馏方案 使用方法 首先finetune BERT python ptbert.py 然后把BERT的知识蒸馏到小模型里

【文件预览】：
bert_distill-master
----utils.py(5KB)
----readme.md(926B)
----data()
--------pda()
--------hotel()
--------cache()
--------shampoo()
--------fruit()
--------clothing()
--------split.py(528B)
----test.py(4KB)
----small.py(4KB)
----distill.py(4KB)
----__init__.py(0B)
----ptbert.py(8KB)