文件名称：seqio:基于任务的数据集，预处理和序列模型评估
文件大小：252KB
文件格式：ZIP
更新时间：2024-05-06 04:42:33
Python
SeqIO：基于任务的数据集，预处理和序列模型评估。 SeqIO是一个库，用于处理要馈入下游序列模型的序列数据。 它使用创建可伸缩的数据管道，但需要最少使用TensorFlow。 特别是，使用一行代码，可以将返回的数据集转换为numpy迭代器，因此它与其他框架（例如或 ）完全兼容。 当前，SeqIO假定数据集是一个序列，即每个特征都是一维数组。 自然支持音频文本之类的模式。 只要图像以序列表示（例如 ），就支持该。 为了支持更高维度的数据，我们将来会释放此约束。 SeqIO是库的重构（用于结合 Transformer实现），用于训练在引入的T5模型。 如果您过去曾经使用过t5.data ，并且想知道SeqIO有何不同，请阅读。 使用教程 在较高级别上，我们将SeqIO用于以下步骤。 定义一个Task （以及可选的Mixture ）。 根据模型架构定义（或使用现有的） Featu
【文件预览】：
seqio-main
----setup.py(2KB)
----CONTRIBUTING.md(1KB)
----LICENSE(11KB)
----.github()
--------workflows()
----README.md(42KB)
----pytest.ini(33B)
----seqio()
--------experimental_test.py(16KB)
--------preprocessors.py(6KB)
--------experimental.py(11KB)
--------dataset_providers.py(53KB)
--------preprocessors_test.py(4KB)
--------feature_converters_test.py(31KB)
--------__init__.py(1015B)
--------MANIFEST.in(36B)
--------test_utils_test.py(3KB)
--------utils.py(21KB)
--------scripts()
--------vocabularies.py(13KB)
--------test_utils.py(33KB)
--------feature_converters.py(43KB)
--------test_data()
--------vocabularies_test.py(9KB)
--------evaluation_test.py(32KB)
--------utils_test.py(12KB)
--------evaluation.py(25KB)
--------version.py(814B)
--------dataset_providers_test.py(39KB)