文件名称：Transformer-product-categorization:트랜스포머자연어처리반리카테고리분류
文件大小：117KB
文件格式：ZIP
更新时间：2024-04-06 10:08:36
text-classification keras transformer categorization JupyterNotebook
基于变压器的产品分类模型 给定文本中的产品名称，请使用基于变压器的分类模型对其类别进行分类。 内容 数据集 数据集包含超过120万种产品名称及其标签。 类别标签的数量是3,827。 结构 模型结构的概述将在下面说明。 分词器 在此模型中，使用了BPE（字节对编码）令牌化方法。 谷歌提供了非官方指定包 。 BPE根据文本的频率将文本拆分为子词标记。 它列出了指定数字（vocab_size）的词汇表，在这个项目中，我为vocab_size使用了40,000。 [例子] 有关BPE和WPM（单词模型）的更多详细说明，请查看以下帖子（韩语）： : 模组 在此仓库中，有四个主要部分用于构建分类模型。 1）预处理器2）Spm训练器3）深度学习模型结构（使用keras的变压器）4）预测 1.预处理器 textPreprocessor.py 该模块用于对文本数据进行预处理，以使其成为纯文本
【文件预览】：
Transformer-product-categorization-master
----produceOutput.py(1KB)
----textPreprocessor.py(2KB)
----1_executePrediction.ipynb(12KB)
----2_spm_training.ipynb(5KB)
----.gitignore(2KB)
----textClassfierModel.py(6KB)
----plot_model.png(58KB)
----model_structure.png(63KB)
----README.md(3KB)