文件名称：maxent-ner-tagger:最大熵命名实体识别（NER）
文件大小：36.57MB
文件格式：ZIP
更新时间：2024-06-06 03:41:47
classifier clustering spacy maxent named-entity-recognition
最大熵NER标记器 可在线获得。 概述 该项目的目标是实施和培训 。 大多数功能构建器功能都是使用实现的， 是用Python / Cython编写的具有工业实力的开源NLP库。 为了分类，使用最大熵（MaxEnt）分类器。 实施细节 此任务的数据集是语料库，该语料库主要由路透社新闻数据组成。 数据文件已经过预处理，并且每行已经包含一个令牌，其词性（POS）标签，BIO（开始，内部，外部缩写）组块标签以及相应的NER标签。 事实证明，SpaCy的内置对功能工程最为有用。 利用外部单词列表，例如作为一部分分发的Wikipedia地名词典，通常会导致标记准确性下降。 由于数据文件相对较大，因此最终提交中不包含地名词典的源代码和文件。 我还通过将先前的状态/标记作为功能进行了尝试，以提高模型的性能。 出乎意料的是，模型性能在很大程度上保持不变，这大概是由于每个标签都是从仍然在模型中编码的同一特征
【文件预览】：
maxent-ner-tagger-master
----log.md(7KB)
----data()
--------vectorizer.pickle(16.43MB)
--------model.pickle(31.14MB)
----output()
--------dev.name(410KB)
--------test.name(371KB)
----requirements.txt(888B)
----.gitignore(92B)
----CoNLL()
--------CONLL_test.pos-chunk-name(744KB)
--------CONLL_dev.name(410KB)
--------CONLL_train.pos-chunk-name(3.13MB)
--------CONLL_dev.pos-chunk-name(811KB)
----README.md(21KB)
----scripts()
--------name_tagger.py(14KB)
--------settings.py(654B)
--------score.py(4KB)