【文件属性】：
文件名称：longformer:加长型
文件大小：591KB
文件格式：ZIP
更新时间：2021-03-20 06:05:24
Python
Longformer
Longformer和LongformerEncoderDecoder LongformerEncoderDecoder (LED)是用于长文档的预训练变压器模型。
***** 2020年12月1日新版：LongformerEncoderDecoder *****
LongformerEncoderDecoder (LED)模型现在可用。它支持长输入的seq2seq任务。使用渐变检查点，fp16和48GB gpu，输入长度最多可达到16K令牌。检查更新的纸张以获取模型的详细信息和评估。
训练有素的模型：1） 16384，2）
要求：确保使用的huggingface /变压器在叉指定requirements.txt 。它增加了对梯度检查点的支持，并允许输入和输出具有不同的最大序列长度。您还可以运行pip install git+https://github.c
【文件预览】：
longformer-master
----longformer()
--------diagonaled_mm_tvm.py(17KB)
--------longformer_encoder_decoder.py(3KB)
--------longformer.py(16KB)
--------sliding_chunks.py(8KB)
--------__init__.py(265B)
--------lib()
----tvm()
--------ndarray.py(5KB)
--------_ffi()
--------module.py(9KB)
--------__init__.py(895B)
--------libtvm_runtime.so(1.31MB)
--------contrib()
----tests()
--------test_readme.py(3KB)
--------test_integration.py(2KB)
--------test_sliding_chunks.py(3KB)
--------test_var_global_attn.py(3KB)
----LICENSE(11KB)
----requirements.txt(274B)
----setup.py(394B)
----.gitignore(2KB)
----tvm_docker(1KB)
----longformer_on_beaker.sh(361B)
----experiment.yml(573B)
----README.md(8KB)
----scripts()
--------hp-splits.json(3KB)
--------convert_bart_to_longformerencoderdecoder.py(6KB)
--------summarization.py(17KB)
--------convert_model_to_long.ipynb(30KB)
--------mem_profiler.py(2KB)
--------triviaqa.py(43KB)
--------test_tpu.py(1KB)
--------__init__.py(2B)
--------hp_preprocess.py(3KB)
--------cheatsheet.txt(5KB)
--------triviaqa_utils()
--------pretrain.py(21KB)