文件名称：smaller-transformers:加载您需要的东西
文件大小：16.83MB
文件格式：ZIP
更新时间：2024-06-15 11:15:26
nlp transformers JupyterNotebook
较小的多语言变形金刚 该存储库共享较小版本的多语言转换器，这些转换器保留与原始转换器提供的表示相同的表示。 这个想法来自一个简单的观察：经过大量的多语言预训练之后，并不需要所有的嵌入来执行微调和推理。 实际上，很少有人会需要一种模型来支持原始超过100种语言。 因此，我们提取了一些处理较少语言的较小版本。 由于多语言转换器的大多数参数都位于嵌入层中，因此我们的模型的大小要小21％至45％。 下面的表格将我们的两个精简版本与原始mBERT进行了比较。 它在上显示了模型的大小，内存占用以及所获得的准确性（英语为法语的跨语言转换）。 这些测量是在。 模型 数值参数 尺寸 记忆 准确性 伯特基于多语言的情况 1.78亿 714兆字节 1400兆字节 73.8 Geotrend / bert-base-15lang-cased 1.41亿 564兆字节 1098兆字节 74.1 Geotr
【文件预览】：
smaller-transformers-main
----.gitignore(2KB)
----README.md(4KB)
----reduce_model.py(4KB)
----LICENSE(11KB)
----requirements.txt(51B)
----notebooks()
--------select_mBERT_vocabularies.ipynb(73KB)
--------selected_tokens()
--------generate_cards.py(520B)
--------README_sample.md(1KB)
--------tokens_freqs()
----vocab_5langs.txt(327KB)