porn_text_model:porn text模型训练

时间:2024-05-20 09:00:43
【文件属性】:

文件名称:porn_text_model:porn text模型训练

文件大小:1.25MB

文件格式:ZIP

更新时间:2024-05-20 09:00:43

porn text-cnn text-rnn text-rcnn Python

该项目主要train一个模型(判断短文本是否为色情文本),主要有三个model:textcnn/textrnn+attention/textrcnn 最开始打算使用textcnn和textrnn进行融合,但是textcnn模型效果较差,故只使用了textrnn+attention模型 流程如下: 1、data目录下的import_porn.txt色情短文本;import_unporn.txt正常短文本。通过corpus_helper.py中的insert_data方法可以将语料导入到mysql中 2、执行python train.py可以将mysql中语料获取、训练textrnn+attention模型;最后保存模型并固化 ※note: data目录下有actress.txt(女优演员)和fh.txt(*);可以通过这两个字典对日影片进行过滤


【文件预览】:
porn_text_model-master
----train.py(802B)
----models()
--------textrcnn()
--------__init__.py(25B)
--------textrnn()
--------textcnn()
----preprocessing.py(3KB)
----import_fh.py(1KB)
----vocab_to_int.pkl(183KB)
----vocab.pkl(154KB)
----stopwords.txt(11KB)
----MysqlHelper.py(1KB)
----README.md(692B)
----train_textrnn.py(8KB)
----corpus_helper.py(2KB)
----data()
--------import_unporn.txt(2KB)
--------actress.txt(507KB)
--------fh.txt(2.44MB)
--------fh_prefix.txt(58KB)
--------import_porn.txt(689B)
----import_actress.py(729B)
----freeze.py(2KB)

网友评论