文件名称：lambda-bert:la样式的BERT使用lambda层而不是自我关注的实现
文件大小：214KB
文件格式：ZIP
更新时间：2024-05-13 23:42:13
Python
LambdaBERT 一种 :hugging_face: 使用LambdaNetworks而非自我关注的BERT的变压器式实现 该LambdaLayer实现改编自工作与1D序列，继从原来的文件采取的指令（目前正在审查）。 这 :hugging_face: transformer架构用于最大程度地减少重新实现。 动机：线性lambda函数将键值乘积λc用作学习输入投影矩阵，该矩阵与输入无关（即，训练示例中学习的潜在维度的子集），与自我关注的令牌相关性质相反。 从可解释性的角度来看，预训练的λc参数可能比关注权重更有趣，是探讨语言结构的主题。 内容 运行./setup.sh在本地Python3环境中安装所有依赖项。 configuration_lambdabert.py ， modeling_lambdabert.py ： :hugging_face: 包含模型实现的与transformer兼容的文件，该文件是对标准BertModel类的轻度改编，用于支持lamb
【文件预览】：
lambda-bert-main
----modeling_lambdabert.py(16KB)
----img()
--------lambda_bert_small.png(203KB)
----requirements.txt(69B)
----LICENSE(1KB)
----run_language_modeling.py(5KB)
----README.md(4KB)
----configuration_lambdabert.py(2KB)
----.gitignore(2KB)
----setup.sh(102B)
----custom_datasets.py(14KB)