文件名称：Laboro-BERT-Japanese:Laboro BERT日语
文件大小：99KB
文件格式：ZIP
更新时间：2024-03-28 14:19:51
Python
Laboro BERT日语：日语BERT经过Web-Corpus的预培训 介绍 关于我们的BERT模型 该日语BERT模型是在和该的基础上使用我们自己的Web语料库进行预训练的。 到目前为止，已经使用相同的Web语料库进行了预训练的基本模型（12层，隐藏768、12头，110M参数）和大型模型（24层，隐藏1024、16头，340M参数）已经被使用。已发布。 从下载基本模型。 从下载大型模型。 表现如何 该模型已针对两个任务进行了评估，Livedoor新闻分类任务和驾驶域问题解答（DDQA）任务。 在Livedoor新闻分类中，每条新闻应分为九类之一。 在DDQA任务中，给定问题-文章对，可以从文章中找到问题的答案。 与该存储库发布的日语*语料库预先训练的基线模型相比，评估结果显示如下。 注意，结果是多次测量的平均值。 由于评估数据集的大小较小，因此每次结果可能会有所不同。 对于
【文件预览】：
Laboro-BERT-Japanese-master
----data()
--------DDQA-1.0()
--------livedoor()
----eval_result()
--------.gitkeep(14B)
----model()
--------webcorpus_base()
--------webcorpus_large()
----LICENSE(19KB)
----src()
--------run_squad.sh(788B)
--------run_classifier.py(31KB)
--------run_classifier.sh(564B)
--------optimization.py(6KB)
--------run_squad.py(48KB)
--------modeling.py(37KB)
--------tokenization_sentencepiece.py(6KB)
--------cls_processor.py(5KB)
----.gitignore(39B)
----README.md(9KB)