文件名称：BiConvBERT:ConvBERT的德语和英语培训
文件大小：2KB
文件格式：ZIP
更新时间：2024-04-26 14:53:23
BiConvBERT 我们的愿景 训练德语和英语双语的ConvBERT语言模型-这样的建筑模型的优点是您可以将免费的英语数据集混入下流训练中以提高性能 模型尺寸应为“中等”（介于基本尺寸和较大尺寸之间）-我们将对参数进行插值 使用大而干净的vocab，以便将单词分成较少的标记，以提高预测性能 使用小写的分词器，但保留重音符号（变音符号） 在GPU而不是TPU上进行训练 像一样开源 链接 障碍 我们拥有GPU的荣誉，但是ConvBERT必须在TPU上接受培训 双语论文 标题 语言能力 数据集大小和拆分 结果 链接 GigaBERT：英文和阿拉伯文的双语BERT 英文和阿拉伯文 多种版本：最大：6.1B（en）和4.3 B（ar） 胜过mBERT（在Gigabert使用更大的数据时不要惊讶）和XLM-Rbase（这表明双语优于多语言） 走向完全双语的深度语言建模 英语和完成 3.8 B
【文件预览】：
BiConvBERT-main
----LICENSE(1KB)
----README.md(3KB)