【文件属性】：
文件名称：Longformer：长文档转换器-Python开发
文件大小：591KB
文件格式：ZIP
更新时间：2021-05-25 15:38:10
Python Miscellaneous
Longformer：Long-Document Transformer Longformer Longformer和LongformerEncoderDecoder（LED）是用于长文档的预训练变压器模型。
***** 2020年12月1日新发布：LongformerEncoderDecoder ***** LongformerEncoderDecoder（LED）模型现在可用。
它支持长输入的seq2seq任务。
使用渐变检查点，fp16和48GB gpu，输入长度最多可达到16K令牌。
检查更新的纸张以获取模型详细信息和评估。
预训练模型：1）led-base-16384，2）led-large-16384要求：
【文件预览】：
longformer-master
----tvm_docker(1KB)
----longformer_on_beaker.sh(361B)
----scripts()
--------test_tpu.py(1KB)
--------triviaqa.py(43KB)
--------cheatsheet.txt(5KB)
--------pretrain.py(21KB)
--------summarization.py(17KB)
--------__init__.py(2B)
--------convert_bart_to_longformerencoderdecoder.py(6KB)
--------convert_model_to_long.ipynb(30KB)
--------mem_profiler.py(2KB)
--------hp_preprocess.py(3KB)
--------hp-splits.json(3KB)
--------triviaqa_utils()
----requirements.txt(274B)
----longformer()
--------lib()
--------__init__.py(265B)
--------longformer_encoder_decoder.py(3KB)
--------longformer.py(16KB)
--------diagonaled_mm_tvm.py(17KB)
--------sliding_chunks.py(8KB)
----LICENSE(11KB)
----setup.py(394B)
----README.md(8KB)
----tests()
--------test_var_global_attn.py(3KB)
--------test_readme.py(3KB)
--------test_sliding_chunks.py(3KB)
--------test_integration.py(2KB)
----.gitignore(2KB)
----tvm()
--------contrib()
--------_ffi()
--------ndarray.py(5KB)
--------__init__.py(895B)
--------libtvm_runtime.so(1.31MB)
--------module.py(9KB)
----experiment.yml(573B)