中文NLP实体识别任务之ONE-HOT标注数据(BIOES)修复BERT分词数据偏移

时间:2022-01-19 11:36:21
【文件属性】:

文件名称:中文NLP实体识别任务之ONE-HOT标注数据(BIOES)修复BERT分词数据偏移

文件大小:1KB

文件格式:PY

更新时间:2022-01-19 11:36:21

自然语言处理 bert 人工智能 nlp 深度学习

本方法是基于BIOES标注的,如果为其它,请自行修改代码 正常ONE-HOT标注数据是按字标注的:如 反 复 胸 痛 1 5 年 B-PL E-PL B-ZZ E-ZZ B-SJ I-SJ E-SJ 经过BERT分词器分词后为: 反 复 胸 痛 15 年 这时候label就要重新修复下偏移了,修复后结果如下: B-PL E-PL B-ZZ E-ZZ B-SJ E-SJ


网友评论