【文件属性】：
文件名称：LMkor:朝鲜语的预训练语言模型
文件大小：21KB
文件格式：ZIP
更新时间：2021-05-10 23:34:03
JupyterNotebook
朝鲜语的预训练语言模型
世界各地都在开发性能最好的语言模型，但是其中大多数只覆盖英语。 为了帮助您开始学习朝鲜语自然语言处理，我们发布了用朝鲜语学习的最新语言模型。
它可以通过Transformers库获得，并且提供基于编码器（BERT等），基于解码器（GPT3）和编码器-解码器（T5，BERTSHARED）的模型。
为了开发一种不仅可以理解新闻等精细语言的模型，而且还可以理解Internet上使用的新词，缩写，错字和缺少字符的模型，每个主要类别的文本已分别收集，并且大多数其中的数据是博客，评论和评论。
要获得更高精度的模型或特定领域语言模型和模型的商业用途，请联系 。
最近更新
2021-01-30： （基于Bert的seq2seq模型）模型
2021-01-26：添加了模型初始版本
2021-01-22：添加了模型
预训练模型
隐藏尺寸
层数
最长长度
批量大小
学习率
训练步骤
【文件预览】：
LMkor-main
----LICENSE(11KB)
----src()
--------__init__.py(28B)
--------utils()
----examples()
--------mask_prediction.py(5KB)
--------bertshared_summarization.py(799B)
--------gpt3_generation.py(1KB)
----.gitignore(7B)
----README.md(11KB)
----notebooks()
--------mask_prediction.ipynb(2KB)
--------word_embedding.ipynb(15KB)
--------gpt3_text_generation.ipynb(2KB)
--------summarization_with_bertshared.ipynb(5KB)