文件名称：Wordbatch：使用可交换调度程序后端的，用于分布式AI处理管道的Python库
文件大小：1.14MB
文件格式：ZIP
更新时间：2024-03-24 02:48:41
Python
文字批处理1.4.6 概述 使用可交换调度程序后端的，用于分布式AI处理管道的Python库。 Wordbatch将任务管道并行化为由选定的调度程序后端处理的微型批处理。 这允许用户在本地工作站或笔记本电脑上开发AI程序，并在集群或云上扩展相同的解决方案，只需将管道后端更改为分布式调度程序（例如Spark，Dask或Ray）即可。 可以根据特定任务的性能特征选择后端，然后将其交换为不同的情况。 例如，可以使用分布式后端训练AI模型，然后使用单个串行过程调试或部署AI模型。 该库围绕协调器类Batcher和与Sklearn兼容的组件进行组织，分为管道，变压器，提取器和模型。 这些扩展了带有fit_partial（）方法的Scikit-learn API，该方法使转换器和模型能够以流方式使用。 当前开发的组件集主要用于文本处理任务，但是可以基于可用的类来开发其他域的组件。 要求 Linux
【文件预览】：
Wordbatch-master
----MANIFEST.in(773B)
----README.rst(8KB)
----data()
--------Tweets.csv(3.26MB)
----wordbatch()
--------models()
--------pipelines()
--------__init__.py(90B)
--------extractors()
--------data_utils.py(2KB)
--------transformers()
--------batcher.py(10KB)
----Dockerfile(947B)
----setup.cfg(57B)
----conda()
--------environments()
----setup.py(3KB)
----.gitignore(2KB)
----Makefile(488B)
----.dockerignore(52B)
----scripts()
--------decorator_test.py(7KB)
--------wordhash_regressor.py(3KB)
--------wordvec_regressor.py(4KB)
--------wordbag_regressor_spark.py(5KB)
--------classify_airline_sentiment.py(5KB)
--------backends_benchmark.py(4KB)
--------wordseq_regressor.py(5KB)
--------wordbag_regressor.py(3KB)
----LICENSE.txt(18KB)