文件名称：tf-yarn:仅需几行代码即可在YARN上训练TensorFlow模型！
文件大小：315KB
文件格式：ZIP
更新时间：2024-06-05 19:39:28
yarn hadoop tensorflow Python
tf-yarnᵝ tf-yarn是我们在Criteo建立的Python库，用于在Hadoop / YARN集群上训练TensorFlow模型。 可以在找到介绍性博客文章。 它支持在一个或多个具有不同分配策略的工作器上运行，并且可以仅使用几行代码就可以在CPU或GPU上运行。 它的API提供了一个与Estimators和Keras一起使用的简单入口点。 请参考以获取一些代码示例。 支持所有类型的培训（一名工人/分布式）。 更多信息。 在学习期间，可以在单独的容器中生成 。 TensorFlow的分发策略有两种选择： 和 安装 用Pip安装 请注意，为了在单个软件包中同时支持tensorflow cpu和gpu，tf-yarn不直接依赖于tensorflow。 您可以运行pip install tf-yarn然后安装tensorflow或tensorflow_gpu，也可以使用pi
【文件预览】：
tf-yarn-master
----MANIFEST.in(115B)
----.github()
--------workflows()
----OWNERS(319B)
----pylama.ini(787B)
----tf_yarn()
--------mlflow.py(4KB)
--------evaluator_metrics.py(4KB)
--------tensorboard.py(2KB)
--------_internal.py(3KB)
--------experiment.py(300B)
--------__init__.py(521B)
--------tasks()
--------metrics.py(3KB)
--------packaging.py(2KB)
--------event.py(2KB)
--------cluster.py(3KB)
--------topologies.py(4KB)
--------keras_experiment.py(296B)
--------_env.py(2KB)
--------client.py(26KB)
--------_criteo.py(128B)
--------_task_commons.py(5KB)
--------bin()
--------default.log.conf(457B)
--------constants.py(124B)
----requirements.txt(29B)
----examples()
--------linear_classifier_example.py(2KB)
--------native_keras_with_gloo_example.py(4KB)
--------mlflow_example.py(3KB)
--------id_estimator_example.py(2KB)
--------collective_all_reduce_example.py(3KB)
--------winequality.py(1KB)
--------run_examples.sh(2KB)
--------keras_example.py(4KB)
----skein.png(248KB)
----LICENSE(11KB)
----setup.cfg(61B)
----setup.py(2KB)
----README.md(14KB)
----pom.xml(662B)
----docs()
--------Tensorboard.md(2KB)
--------HorovodWithGloo.md(1022B)
--------MLflow.md(2KB)
----tests()
--------test_client.py(7KB)
--------test_env.py(853B)
--------test_evaluator_task.py(4KB)
--------test__task_commons.py(5KB)
--------test__internal.py(1KB)
--------test_evaluator_metrics.py(3KB)
--------test_topologies.py(764B)
--------test_cluster.py(3KB)
----.gitignore(1KB)
----tests-requirements.txt(18B)