中文-ELECTRA：训练有素的中文ELECTRA（中文ELECTRA预训练模型）

【文件属性】：
文件名称：中文-ELECTRA：训练有素的中文ELECTRA（中文ELECTRA预训练模型）
文件大小：314KB
文件格式：ZIP
更新时间：2021-02-03 15:21:03
nlp tensorflow pytorch chinese language-model | 谷歌与斯坦福大学共同研发的最新预训练模型ELECTRA因其小巧的模型体积以及良好的模型性能受到了广泛关注。为了进一步促进中文预训练模型技术的研究与发展，哈工大讯飞联合实验室基于官方ELECTRA ELECTRA-small模型可与BERT-base甚至其他同等规模的模型相符美，而参数量仅为BERT-base的1 / 10。本项目基于谷歌＆斯坦福大学官方的ELECTRA： : 其他相关资源： MacBERT预训练模型： : 中文BERT-wwm预训练模型： : 中文XLNet预训练模型： : 知识蒸馏工具TextBrewer： : 查看更多哈工大讯飞联合实验室（HFL）发布的资源： : 新闻 2020/12/13基于大规模法律文书数据，我们训练了针对司法领域的中文ELECTRA系列模型，查看，。 2020/10/22 ELECTRA-180g已发布，增加了CommonCrawl的可选数据，查看。 2020/9/15我们的论文被录用为长文。 2020/8/27哈工大讯飞联合实验室在通用自然语言理解评论GLUE中荣登榜首，查看，。 点击这里查看历史新闻2020

【文件预览】：
Chinese-ELECTRA-master
----configure_finetuning.py(7KB)
----pretrain()
--------pretrain_data.py(5KB)
--------pretrain_helpers.py(8KB)
--------__init__.py(606B)
----.github()
--------stale.yml(784B)
----configure_pretraining.py(5KB)
----pics()
--------qrcode.jpg(26KB)
--------model.png(74KB)
--------banner.png(121KB)
----model()
--------tokenization.py(10KB)
--------modeling.py(38KB)
--------__init__.py(606B)
--------optimization.py(7KB)
----run_pretraining.py(16KB)
----build_openwebtext_pretraining_dataset.py(4KB)
----build_pretraining_dataset.py(9KB)
----util()
--------training_utils.py(4KB)
--------utils.py(2KB)
--------__init__.py(606B)
----config()
--------base_generator_config.json(556B)
--------small_ex_generator_config.json(555B)
--------base_discriminator_config.json(558B)
--------small_generator_config.json(555B)
--------large_generator_config.json(530B)
--------small_ex_discriminator_config.json(557B)
--------large_discriminator_config.json(532B)
--------small_discriminator_config.json(626B)
----LICENSE(11KB)
----README_EN.md(24KB)
----README.md(26KB)
----run_finetuning.py(15KB)
----cmrc2018_drcd_evaluate.py(4KB)
----.gitignore(22B)
----finetune()
--------scorer.py(1KB)
--------preprocessing.py(6KB)
--------task.py(2KB)
--------qa()
--------__init__.py(606B)
--------feature_spec.py(2KB)
--------task_builder.py(3KB)
--------tagging()
--------classification()