文件名称：bigbird：变形金刚更长的序列
文件大小：1.24MB
文件格式：ZIP
更新时间：2024-02-24 12:22:26
nlp deep-learning transformer bert longer-sequences
大鸟：变形金刚更长的序列 这不是Google的官方产品。 什么是BigBird？ BigBird是一种基于稀疏注意的转换器，它将基于Transformer的模型（例如BERT）扩展到更长的序列。 此外，BigBird还具有对稀疏模型可以处理的完整变压器的功能的理论理解。 由于能够处理更长的上下文，BigBird极大地提高了各种NLP任务（例如问题回答和摘要）的性能。 更多详细信息和比较可以在我们的找到。 引文 如果您觉得这很有用，请引用我们的： @article{zaheer2020bigbird, title={Big bird: Transformers for longer
【文件预览】：
bigbird-master
----bigbird()
--------vocab()
--------pretrain()
--------summarization()
--------core()
--------classifier()
----requirements.txt(102B)
----CONTRIBUTING.md(1KB)
----LICENSE(11KB)
----setup.py(2KB)
----README.md(6KB)