文件名称：NPLM:词嵌入和语言模型的神经网络
文件大小：10KB
文件格式：ZIP
更新时间：2024-05-19 17:03:59
tensorflow embeddings feedforward-neural-network tensorflow-library Python
这是用于构建语言模型的前馈神经网络的实现。 虽然，我从Y. Bengio在2003年于JMLR的经典论文“一种神经概率语言模型”中汲取了灵感，但还是将词嵌入生成过程调整为当前的SOTA方法：带有噪声对比估计的跳过语法模型。 我还采用了来初始化神经网络的权重。 它根据输入和输出神经元的数量确定权重分布的方差。 它有助于将信号传播到网络深处。 这是因为，如果将权重初始化为一个较小的值，则权重在穿过图层时会开始减小，并逐渐降低为一个非常低的值。 考虑到激活函数为S型，输入的低值使激活几乎是线性的，从而克服了在网络中引入非线性的问题。 反之亦然，如果权重被初始化为一个较大的值，则输入的方差会随着每个传递层的增加而增加。 最终，由于S形函数对于大值变得平坦，因此激活再次变为线性。 因此，需要使用正确的方差量初始化权重： Var(Wi) = 2 / (Ninp + Nout) 其中Nin
【文件预览】：
NPLM-master
----data()
--------text_file(5KB)
--------dataset.py(661B)
----src()
--------word_embedding.py(7KB)
--------utils.py(766B)
--------final.py(6KB)
----README.md(2KB)