文件名称：semi-supervised-sequence-learning:半监督学习，对未标记序列数据进行无监督预训练，对标记序列数据进行监督微调
文件大小：9KB
文件格式：ZIP
更新时间：2024-04-16 18:04:14
natural-language-processing tensorflow semi-supervised-learning language-model language-model-pretraining
半监督序列学习 此回购记录了重现论文给出的结果的实验。 简而言之，我们在未标记的文本数据上对序列自动编码器或语言模型进行预训练，然后使用标记的文本数据对使用预训练权重初始化的基于RNN的序列分类器进行微调，与随机初始化的权重相比，分类精度更高。 资料准备 IMDB数据集 我们为此实验使用。 下载并解压缩，导航至目录aclImdb/train ，该目录aclImdb/train中包含带aclImdb/train/pos的正（ aclImdb/train/pos ）和带标签的负性（ aclImdb/train/neg ）以及未标签的评论（ aclImdb/train/unsup ）。 然后cd进入每个子目录并运行 for f in *.txt; do (cat "${f}"; echo) >> pos.txt; done for f in *.txt; do (cat "${f}"; ec
【文件预览】：
semi-supervised-sequence-learning-master
----run_finetune.py(5KB)
----.gitmodules(84B)
----README.md(4KB)
----commons()
----run_pretrain.py(6KB)
----run_tfrecord_generation.py(4KB)
----model.py(6KB)