文件名称：WordSeg:BiLSTM \ BERT \ Roberta（+ CRF）模型的PyTorch实现，用于中文分词
文件大小：15KB
文件格式：ZIP
更新时间：2024-04-16 05:27:55
pytorch bert chinese-word-segmentation bilstm-crf roberta
中文分词 本项目为中文分词任务baseline的代码实现，模型包括 BiLSTM-CRF 基于BERT的+ X（softmax / CRF / BiLSTM + CRF） 罗伯塔+ X（softmax / CRF / BiLSTM + CRF） 本项目是的项目。 数据集 数据集第二届中文分词任务中的北京大学数据集。 模型 本项目实现了中文分词任务的baseline模型，对应路径分别为： BiLSTM-CRF BERT-Softmax BERT-CRF BERT-LSTM-CRF 其中，根据使用的预训练模型的不同，BERT-base-X模型可转换为Roberta-X模型。 要求 此仓库已在Python 3.6+和PyTorch 1.5.1上进行了测试。 主要要求是： tqdm scikit学习 火炬> = 1.5.1 :hugging_face: 变压器== 2.2.2 要解决环境问题，请运行：
【文件预览】：
WordSeg-main
----readme.md(2KB)
----BiLSTM-CRF()
--------Vocabulary.py(3KB)
--------utils.py(899B)
--------train.py(6KB)
--------metric.py(3KB)
--------data_loader.py(2KB)
--------.DS_Store(6KB)
--------run.py(4KB)
--------.idea()
--------data_process.py(2KB)
--------model.py(1KB)
--------config.py(785B)