文件名称：Positional-Encoding:带有单词嵌入的编码位置
文件大小：158KB
文件格式：ZIP
更新时间：2024-06-07 11:45:33
encoder word-embeddings pytorch embeddings embedding-models
位置编码 您只需要注意： : 不使用任何递归神经网络对句子进行编码。 相反，他们利用位置编码，然后注意。 在本文中，thay使用不同频率的正弦和余弦函数： P E(pos,2i) = sin(pos/10000**(2i/dmodel)) P E(pos,2i+1) = cos(pos/10000**(2i/dmodel)) 其中pos是位置，而i是尺寸。 即，位置编码的每个维度对应于正弦曲线。 波长形成从2π到10000·2π的几何级数。 我们选择此函数是因为我们假设它会允许模型轻松学习相对位置的参加，因为对于任何固定的偏移量k，P Epos + k都可以表示为P Epos的线性函数。 coder.py提供了一个有助于对位置/时间分量以及单词嵌入进行编码的类。 位置和单词嵌入都可以训练。 此类的编码输出必须通过自我关注层才能获得更好的结果。 句法 import torch im
【文件预览】：
Positional-Encoding-master
----get_embeddings.py(1KB)
----Positional_embeddings.ipynb(2KB)
----README.md(1KB)
----Positional_encoding.ipynb(1.01MB)
----encoder.py(3KB)