omn​​inet-pytorch:在Pytorch中实现OmniNet(来自变压器的全向表示)

时间:2024-03-23 05:37:03
【文件属性】:

文件名称:omn​​inet-pytorch:在Pytorch中实现OmniNet(来自变压器的全向表示)

文件大小:126KB

文件格式:ZIP

更新时间:2024-03-23 05:37:03

deep-learning transformers artificial-intelligence attention-mechanism Python

Omninet-Pytorch 在实现 (来自变压器的全向表示)。 作者建议,我们应该关注先前各层的所有标记,并利用最近的有效关注进展来实现此目标。 安装 $ pip install omninet-pytorch 用法 import torch from omninet_pytorch import Omninet omninet = Omninet ( dim = 512 , # model dimension depth = 6 , # depth dim_head = 64 , # dimension per head heads = 8 , # number of heads pool_l


【文件预览】:
omninet-pytorch-main
----.github()
--------workflows()
----LICENSE(1KB)
----omninet.png(120KB)
----omninet_pytorch()
--------omninet_pytorch.py(7KB)
--------__init__.py(67B)
----setup.py(768B)
----.gitignore(2KB)
----README.md(2KB)

网友评论