文件名称：ancient_chinese_language_model:古汉语语言模型
文件大小：7KB
文件格式：ZIP
更新时间：2024-05-28 09:47:44
Python
古汉语语言模型 语料： 训练平台：Colab 基础框架：苏神的 框架安装： pip install bert4keras==0.9.9 T5 Encoder版本 模型调用代码： 模型参数下载地址： 百度网盘： 提取码：15bv 模型预训练过程： 两阶段预训练：90%采用128句子长度，10%采用512句子长度 128阶段预训练参数： seq_len = 128 batch_size = 1792 learning_rate = 0.00125 weight_decay_rate = 0.01 num_warmup_steps = 0 num_train_steps = 250000 mlm_loss曲线： mlm_acc曲线： 512阶段预训练参数： seq_len = 512 batch_size = 1792 learning_rate = 0.000125 weight_decay
【文件预览】：
ancient_chinese_language_model-master
----ancient_chinese_base.py(535B)
----images()
--------ancient_chinese_t5s_mlm_acc_step_1.png(130B)
--------ancient_chinese_t5s_mlm_loss_step_1.png(130B)
--------ancient_chinese_base_mlm_loss_step_0.png(130B)
--------ancient_chinese_t5s_mlm_acc_step_0.png(130B)
--------ancient_chinese_t5s_mlm_loss_step_0.png(130B)
--------ancient_chinese_base_mlm_acc_step_1.png(130B)
--------ancient_chinese_base_mlm_acc_step_0.png(130B)
--------ancient_chinese_base_mlm_loss_step_1.png(130B)
----requirements.txt(17B)
----README.md(3KB)
----ancient_chinese_t5s.py(9KB)
----.gitattributes(46B)