torchtext-summary:torchtext摘要:torchtext使用总结,从零开始逐步实现了torchtext文本预处理,包括截断补长,词表排列,使用预训练词向量,可以使用PyTorch的可迭代数据等步骤。并结合Pytorch实现LSTM

时间:2024-02-24 12:20:20
【文件属性】:

文件名称:torchtext-summary:torchtext摘要:torchtext使用总结,从零开始逐步实现了torchtext文本预处理,包括截断补长,词表排列,使用预训练词向量,可以使用PyTorch的可迭代数据等步骤。并结合Pytorch实现LSTM

文件大小:43KB

文件格式:ZIP

更新时间:2024-02-24 12:20:20

python nlp pytorch torchtext NaturallanguageprocessingJupyterNotebook

torchtext的使用总结,并结合Pytorch实现LSTM 版本说明 PyTorch版本:0.4.1 火炬文字:0.2.3 python:3.6 文件说明 Test-Dataset.ipynb Test-Dataset.py使用torchtext进行文本预处理的笔记本和py版。 Test-Dataset2.ipynb使用Keras和PyTorch进行数据集进行文本预处理。 Language-Model.ipynb使用gensim加载预训练的词向量,并使用PyTorch实现语言模型。 使用说明 分别提供了笔记本版本和标准py文件版本。 从零开始逐步实现了torchtext文本预处理,


【文件预览】:
torchtext-summary-master
----Test_Dataset.py(5KB)
----data()
--------valid_one_label.csv(11KB)
--------test.csv(8KB)
--------train.csv(11KB)
--------.DS_Store(6KB)
--------valid.csv(11KB)
--------train_one_label.csv(10KB)
----Language-Model.ipynb(29KB)
----README.md(2KB)
----Test_Dataset2.ipynb(7KB)
----Test_Dataset.ipynb(18KB)

网友评论