【文件属性】：
文件名称：ccf_2020_qa_match:CCF 2020 QA比赛比赛Top1
文件大小：2.06MB
文件格式：ZIP
更新时间：2021-03-21 12:14:42
keras ccf bert top1 Python
更新
基于当前repo优化后，A / B榜皆是Top1，代码整理中，后续会陆续放上来！
博客：
优化思路
岗位培训
m
提升mlm任务中的mask策略，提升灵活性，提高下游性能：挖掘新词，加入字典，整个word mask + dynamic mask
挖掘新词
python new_words_mining.py
nsp
句子等级的任务是有用的，不过替换为SOP / AOP：query-answer pair时互换位置（sop），query-answer-list时，只打乱answer-list的顺序（aop）
模型自适应
post training的样本格式与下游一致，也能带来提升（区别RoBERTa中的标注）
完整的岗位培训代码为两份：query-answer对与query-answerA-list两种方式：
python popint-post-training-wwm-sop
【文件预览】：
ccf_2020_qa_match-main
----requirements.txt(88B)
----data()
--------new_dict.txt(29KB)
--------train()
--------test()
----ccf_2020_qa_match_pet.py(8KB)
----ccf_2020_qa_match_pair.py(5KB)
----new_words_mining.py(2KB)
----point-post-training-wwm-sop.py(11KB)
----pair-supervised-contrastive-learning.py(9KB)
----pair-post-training-wwm-sop.py(10KB)
----README.md(8KB)
----requirements-post-training.txt(146B)
----ccf_2020_qa_match_point.py(8KB)
----ccf_2020_qa_match_concat.py(6KB)
----pair-external-embedding.py(9KB)
----pair-data-augment-contrastive-learning.py(8KB)
----img()
--------post-training.png(9KB)
--------summary.png(459KB)
--------concat.png(80KB)
--------sc.png(39KB)
--------bottom-embedding.png(20KB)
--------sc-loss.png(39KB)
--------top-embedding.png(26KB)
--------ssc-loss.png(7KB)
--------pet.png(45KB)
--------ssc.png(35KB)
--------point.png(30KB)
--------pair.png(17KB)
----pair-adversarial-train.py(7KB)
----pair-self-kd.py(9KB)