文件名称：2021-GAIIC-Track1-idea:全球人工智能技术创新大赛【赛道一】
文件大小：1KB
文件格式：ZIP
更新时间：2024-04-14 06:57:24
2021-GAIIC-Track1-idea 非常荣幸能够拿到本周周星星，目前线上分数是5折nezha-base模型融合得到，采用pretrian + finetuning，具体细节如下： 预训练 由于数据是脱敏，所以直接从头开始训练bert模型，没有加载已有的预训练模型权重，模型采用的是nezha-base，代码参考； mask方法：采用ngram mask方法，以及动态mask方法，具体可以参考： 预训练代码使用的是tansformers模块自带的，具体可以参考； 预训练参数：lr = 1e-4，batchSize = 128，seql_length = 128，动态批次长度，最终mlm损失为0.3左右 微调 k折：采用的multilabel进行划分，交替k = 5 模型：nezha模型微调，并直接使用CLS进行分类，采用S形 损失；二分类交叉熵损失函数 对抗：加入对抗训练，使用的
【文件预览】：
2021-GAIIC-Track1-idea-main
----README.md(1KB)