Perceiver:TensorFlow中感知器的实现,具有迭代注意的一般感知

时间:2024-05-06 06:01:02
【文件属性】:

文件名称:Perceiver:TensorFlow中感知器的实现,具有迭代注意的一般感知

文件大小:483KB

文件格式:ZIP

更新时间:2024-05-06 06:01:02

python deep-learning neural-network tensorflow transformers

感知者 该Python软件包实现了TensorFlow中的Andrew Jaegle的 。 该模型建立在Transformers之上,因此数据仅通过交叉注意机制输入(请参见图),并允许其扩展到数十万个输入,例如ConvNets。 这在某种程度上也解决了Transformers Quadratic计算和内存瓶颈。 Yannic Kilcher的非常有帮助。 安装 运行以下命令进行安装: pip install perceiver 发展中的perceiver 要安装perceiver以及需要开发和测试的工具,请在virtualenv中运行以下命令: git clone https://github.com/Rishit-dagli/Perceiver.git # or clone your own fork cd perceiver pip install -e .[dev] 关于


【文件预览】:
Perceiver-main
----setup.py(2KB)
----.gitignore(2KB)
----images()
--------architecture.PNG(489KB)
----MANIFEST.in(49B)
----CONTRIBUTING.md(1KB)
----CODE_OF_CONDUCT.md(5KB)
----LICENSE(1KB)
----_config.yml(26B)
----.github()
--------PULL_REQUEST_TEMPLATE.md(576B)
--------CODEOWNERS(16B)
--------ISSUE_TEMPLATE()
--------workflows()
----examples()
--------perceiver_example.ipynb(47KB)
----README.md(6KB)
----perceiver()
--------perceiver.py(4KB)
--------__init__.py(67B)
--------geglu.py(165B)
--------fourier_encode.py(564B)
--------prenorm.py(485B)
--------attention.py(2KB)
--------feedforward.py(537B)
--------version.py(22B)

网友评论