文件名称：TensorFlowOnSpark：TensorFlowOnSpark将TensorFlow程序引入Apache Spark集群
文件大小：271KB
文件格式：ZIP
更新时间：2024-02-23 23:46:50
python machine-learning scala spark tensorflow
TensorFlowOnSpark TensorFlowOnSpark为Apache Hadoop和Apache Spark集群带来了可扩展的深度学习。 通过将深度学习框架中的突出功能与和，TensorFlowOnSpark可以在GPU和CPU服务器集群上实现分布式深度学习。 它支持在Spark集群上进行分布式TensorFlow训练和推理，其目标是最大程度地减少在共享网格上运行现有TensorFlow程序所需的代码更改量。 其兼容Spark的API通过以下步骤帮助管理TensorFlow集群： 启动-在执行程序上启动Tensorflow主要功能，以及数据/控制消息的侦听器。 数据提取 InputMode.TENSORFLOW-利用TensorFlow的内置API直接从HDFS读取数据文件。 InputMode.SPARK-通过TFNode.DataFeed类将Spark RDD数据发送到TensorFlow节点。 请注意，我们利用来访问HDFS上的TFRecords。 Shutdown-关闭执行器上的Tensorflow worker和PS节点。 目录 背景 Tenso
【文件预览】：
TensorFlowOnSpark-master
----setup.py(805B)
----Code-of-Conduct.md(7KB)
----.tidelift.yml(42B)
----.travis.settings.xml(426B)
----.gitignore(175B)
----Contributing.md(2KB)
----requirements.txt(86B)
----screwdriver.yaml(2KB)
----src()
--------main()
--------test()
----LICENSE(9KB)
----setup.cfg(3KB)
----.github()
--------ISSUE_TEMPLATE()
----pom.xml(7KB)
----examples()
--------segmentation()
--------utils()
--------resnet()
--------mnist()
----sd.allow(38B)
----scripts()
--------install_spark.sh(444B)
--------deploy.generic()
--------spark-ec2(1KB)
--------spark_ec2.py(60KB)
--------stop_spark.sh(84B)
--------start_spark.sh(495B)
--------ec2-cloud-config.txt(95B)
----README.md(5KB)
----tests()
--------test_reservation.py(4KB)
--------test_TFCluster.py(4KB)
--------test_dfutil.py(2KB)
--------README.md(2KB)
--------test_TFNode.py(2KB)
--------test.py(1KB)
--------test_TFSparkNode.py(8KB)
--------run_tests.sh(801B)
--------test_pipeline.py(7KB)
----lib()
--------tensorflow-hadoop-1.0-SNAPSHOT.jar(115KB)
----docs()
--------source()
----tox.ini(3KB)
----tensorflowonspark()
--------compat.py(1KB)
--------dfutil.py(8KB)
--------pipeline.py(25KB)
--------__init__.py(156B)
--------marker.py(480B)
--------reservation.py(9KB)
--------TFCluster.py(17KB)
--------TFManager.py(2KB)
--------TFSparkNode.py(26KB)
--------TFParallel.py(2KB)
--------gpu_info.py(3KB)
--------util.py(3KB)
--------TFNode.py(12KB)