embeddings.js:网络上的字词嵌入

时间:2024-05-19 01:28:52
【文件属性】:

文件名称:embeddings.js:网络上的字词嵌入

文件大小:5.47MB

文件格式:ZIP

更新时间:2024-05-19 01:28:52

nlp word-embeddings fasttext JavaScript

embeddings.js 网络上的字词嵌入 博客文章: : 词嵌入通常需要大量参数,这会导致较大的内存和存储空间。 这使得部署前训练字的嵌入像和在移动和浏览器环境非常困难。 在这个项目中,我们将使用简单的后处理技术(例如PCA降维和生产量化)压缩预训练的词向量。 与原始嵌入相比,生成的嵌入要小得多,而准确性没有明显下降。 最终向量以及用于访问它们的辅助方法被捆绑到一个javascript库中。 该库使用tensorflowjs解码单词嵌入并对其执行通用操作。 为了加快推理速度,我们将运行时后端设置为wasm以便以接近本机的速度加速CPU计算。 演示版 您可以在此页面上查看js库的演示: : 楷模 -使用PCA和乘积量化压缩预训练单词嵌入的模块 在sentiment140数据集上训练的用于情感分类的LSTM模型 指示 该项目使用作为依赖项 在本地运行 yarn yarn ru


【文件预览】:
embeddings.js-master
----.gitignore(83B)
----README.md(2KB)
----package.json(568B)
----models()
--------sentiment_lstm()
--------compressor()
----src()
--------embeddings.js(5KB)
--------utils.js(412B)
--------model.tmpl.json(96B)
----requirements.txt(94B)
----index.html(469B)
----yarn.lock(184KB)
----gulpfile.js(3KB)
----assets()
--------sentiment_lstm()
--------tfjs-backend-wasm-simd.wasm(314KB)
--------embeddings.js(1.69MB)
--------word-embeddings.json(5.1MB)
--------tfjs-backend-wasm.wasm(216KB)
--------tfjs-backend-wasm-threaded-simd.wasm(320KB)

网友评论