【文件属性】:
文件名称:WordSeg:BiLSTM \ BERT \ Roberta(+ CRF)模型的PyTorch实现,用于中文分词
文件大小:15KB
文件格式:ZIP
更新时间:2021-03-27 11:41:15
pytorch bert chinese-word-segmentation bilstm-crf roberta
中文分词
本项目为中文分词任务baseline的代码实现,模型包括
BiLSTM-CRF
基于BERT的+ X(softmax / CRF / BiLSTM + CRF)
罗伯塔+ X(softmax / CRF / BiLSTM + CRF)
本项目是的项目。
数据集
数据集第二届中文分词任务中的北京大学数据集。
模型
本项目实现了中文分词任务的baseline模型,对应路径分别为:
BiLSTM-CRF
BERT-Softmax
BERT-CRF
BERT-LSTM-CRF
其中,根据使用的预训练模型的不同,BERT-base-X模型可转换为Roberta-X模型。
要求
此仓库已在Python 3.6+和PyTorch 1.5.1上进行了测试。 主要要求是:
tqdm
scikit学习
火炬> = 1.5.1
:hugging_face: 变压器== 2.2.2
要解决环境问题,请运行:
【文件预览】:
WordSeg-main
----readme.md(2KB)
----BiLSTM-CRF()
--------Vocabulary.py(3KB)
--------utils.py(899B)
--------train.py(6KB)
--------metric.py(3KB)
--------data_loader.py(2KB)
--------.DS_Store(6KB)
--------run.py(4KB)
--------.idea()
--------data_process.py(2KB)
--------model.py(1KB)
--------config.py(785B)
网友评论
- 用户下载后在一定时间内未进行评价,系统默认好评。