【文件属性】:
文件名称:快速关注:有效关注模块列表
文件大小:26KB
文件格式:ZIP
更新时间:2021-01-31 09:20:01
awesome transformer attention attention-is-all-you-need multihead-attention
快速关注
精选的有效关注模块列表(最新更新:2021年1月7日,星期四16:39:26 +0000)
目录
高效注意
纸(引用)
实作
复杂
自回归
大意
(265)
:check_mark:
扩大压缩键和值+阻止注意力
(999+)
:cross_mark:
扩大将SE注意事项与每个像素(局部)权重相结合
(14)
:cross_mark:
扩大使用K个中继节点
(255)
:cross_mark:
扩大每个像素同时参与其行和列
(14)
:cross_mark:
扩大Softmax(Q)*(Softmax(K ^ T)* V)
(37)
:cross_mark:
扩大使用中继(全局)节点并去往/来自该节点
(182)
:cross_mark:
扩大注意池(而不是GAP)的挤压和激励
(222)
:check_mark:
扩大基于稀疏块的注意力
(1)
--
:check_mark:
扩大使用PatchMatch查找关闭键
(20)
IN_PAPER
:check_mark:
扩大短距离然后长距离(扩张)注意的组合
(3)
:cr
【文件预览】:
awesome-fast-attention-master
----.travis.yml(408B)
----README_BASE.md(660B)
----LICENSE(34KB)
----generate.py(4KB)
----FastAttention.json(10KB)
----.gitignore(3KB)
----CODE_OF_CONDUCT.md(3KB)
----README.md(18KB)
----inbox.md(641B)