文件名称：GlomImpl:文本的GLOM模型的实现
文件大小：207KB
文件格式：ZIP
更新时间：2024-03-24 15:20:23
Python
格洛姆 这是针对文本域的GLOM模型（）的简单实现。 它很大程度上建立在ALBERT模型的上（）。 方法 使用t变压器层（t =您要建模的GLOM时间步数） 使用L个关注头（L =您要建模的GLOM级别数） 将这些小修改应用于ALBERT模型： 删除查询，键，值的线性投影； 只需通过[(d/L)*i..(d/L)*(i+1)]到第i个头 修改/约束关注的密集层，使其输出的每个分区[(d/L)*i..(d/L)*(i+1)]仅由（第i-1），第i和第（i + 1）头（这将模拟对较低和较高GLOM级别的访问） 请参阅实际的农业逻辑。 删除跳过连接和位于关注层顶部的MLP 对于屏蔽语言模型训练：仅将输入令牌嵌入到[0..(d/L)] （第一级）中。 同样，仅从最终的隐藏状态中获取这些尺寸即可预测被屏蔽的令牌。 所有其他维度都将获得一个（与位置无关，但与电平相关的）偏差，作为零时步输入。
【文件预览】：
GlomImpl-master
----run_hf_mlm.py(24KB)
----results()
--------prediction_results_glom_clustering_3pv0cnaf.tsv(19KB)
----configs()
--------glom()
----src()
--------models()
--------__init__.py(0B)
--------trainer.py(643B)
----images()
--------GLOM_architecture.png(32KB)
--------WandB_2.3.2021_04-14-07_loss.png(82KB)
--------WandB_2.3.2021_04-14-07_flos.png(5KB)
--------wandb_comparison_long-run_loss.png(84KB)
----.vscode()
--------launch.json(4KB)
--------settings.json(45B)
--------workspace.code-workspace(61B)
----requirements.txt(34B)
----README.md(3KB)
----.gitignore(2KB)