文件名称：TensorFlowOnSpark 将TensorFlow程序带到Apache Spark集群上-python
文件大小：272KB
文件格式：ZIP
更新时间：2024-07-08 12:05:41
机器学习
TensorFlowOnSpark 将TensorFlow程序带到Apache Spark集群上，雅虎开源项目将TensorFlow与Spark结合 TensorFlowOnSpark TensorFlowOnSpark 为 Apache Hadoop 和 Apache Spark 集群带来了可扩展的深度学习。 通过将 TensorFlow 深度学习框架的显着特征与 Apache Spark 和 Apache Hadoop 相结合，TensorFlowOnSpark 支持在 GPU 和 CPU 服务器集群上进行分布式深度学习。 它支持在 Spark 集群上进行分布式 TensorFlow 训练和推理，目标是最大限度地减少在共享网格上运行现有 TensorFlow 程序所需的代码更改量。 它的 Spark 兼容 API 通过以下步骤帮助管理 TensorFlow 集群： 启动 - 在执行器上启动 Tensorflow 主函数，以及数据/控制消息的侦听器。 数据摄取 InputMode.TENSORFLOW - 利用 TensorFlow 的内置 API 直接从 HDFS 读取数
【文件预览】：
TensorFlowOnSpark-master
----pom.xml(7KB)
----tensorflowonspark()
--------TFNode.py(12KB)
--------pipeline.py(25KB)
--------util.py(3KB)
--------TFSparkNode.py(26KB)
--------compat.py(1KB)
--------gpu_info.py(3KB)
--------TFCluster.py(17KB)
--------__init__.py(156B)
--------dfutil.py(8KB)
--------reservation.py(9KB)
--------marker.py(480B)
--------TFManager.py(2KB)
--------TFParallel.py(2KB)
----sd.allow(38B)
----.github()
--------ISSUE_TEMPLATE()
----tests()
--------test_dfutil.py(2KB)
--------test.py(1KB)
--------run_tests.sh(801B)
--------test_TFCluster.py(5KB)
--------test_TFNode.py(2KB)
--------test_pipeline.py(7KB)
--------test_reservation.py(4KB)
--------test_TFParallel.py(2KB)
--------README.md(2KB)
--------test_TFSparkNode.py(8KB)
----tox.ini(3KB)
----LICENSE(9KB)
----src()
--------test()
--------main()
----setup.cfg(3KB)
----screwdriver.yaml(2KB)
----requirements.txt(62B)
----doc()
--------source()
----examples()
--------mnist()
--------resnet()
--------utils()
--------segmentation()
----Code-of-Conduct.md(7KB)
----setup.py(805B)
----.gitignore(175B)
----lib()
--------tensorflow-hadoop-1.0-SNAPSHOT.jar(115KB)
----README.md(5KB)
----Contributing.md(2KB)
----scripts()
--------spark_ec2.py(60KB)
--------deploy.generic()
--------start_spark.sh(495B)
--------install_spark.sh(444B)
--------stop_spark.sh(84B)
--------spark-ec2(1KB)
--------ec2-cloud-config.txt(95B)
----.tidelift.yml(42B)