【文件属性】：
文件名称：compressive-transformer-pytorch:Deepmind的Pytorch压缩变压器实现
文件大小：34.9MB
文件格式：ZIP
更新时间：2021-04-25 09:14:42
deep-learning artificial-intelligence transformer attention-mechanism Python
高温高压变压器
Pytorch实现的 ，这是Transformer-XL的变体，具有用于远程语言建模的压缩内存。 我还将其与的想法相结合，该在残留相交处添加了门控。 记忆和门控可能是协同的，并导致语言建模和强化学习方面的进一步改进。
安装
$ pip install compressive_transformer_pytorch
用法
import torch
from compressive_transformer_pytorch import CompressiveTransformer
model = CompressiveTransformer (
num_tokens = 20000 ,
emb_dim = 128 , # embedding dimensions, embedding factorization from Albe
【文件预览】：
compressive-transformer-pytorch-master
----setup.py(807B)
----.gitignore(2KB)
----LICENSE(1KB)
----.github()
--------workflows()
----examples()
--------enwik8_simple()
----README.md(5KB)
----memory.png(33KB)
----compressive_transformer_pytorch()
--------__init__.py(187B)
--------compressive_transformer_pytorch.py(13KB)
--------autoregressive_wrapper.py(5KB)