文件名称：快速关注：有效关注模块列表
文件大小：26KB
文件格式：ZIP
更新时间：2024-02-21 03:06:41
awesome transformer attention attention-is-all-you-need multihead-attention
快速关注 精选的有效关注模块列表（最新更新：2021年1月7日，星期四16:39:26 +0000） 目录 高效注意 纸（引用） 实作 复杂 自回归 大意 （265） :check_mark: 扩大压缩键和值+阻止注意力 （999+） :cross_mark: 扩大将SE注意事项与每个像素（局部）权重相结合 （14） :cross_mark: 扩大使用K个中继节点 （255） :cross_mark: 扩大每个像素同时参与其行和列 （14） :cross_mark: 扩大Softmax（Q）*（Softmax（K ^ T）* V） （37） :cross_mark: 扩大使用中继（全局）节点并去往/来自该节点 （182） :cross_mark: 扩大注意池（而不是GAP）的挤压和激励 （222） :check_mark: 扩大基于稀疏块的注意力 （1） -- :check_mark: 扩大使用PatchMatch查找关闭键 （20） IN_PAPER :check_mark: 扩大短距离然后长距离（扩张）注意的组合 （3） :cr
【文件预览】：
awesome-fast-attention-master
----.travis.yml(408B)
----README_BASE.md(660B)
----LICENSE(34KB)
----generate.py(4KB)
----FastAttention.json(10KB)
----.gitignore(3KB)
----CODE_OF_CONDUCT.md(3KB)
----README.md(18KB)
----inbox.md(641B)