文件名称:distributed-sgd:分布式随机梯度(GRPCKubernetes)并与Hogwild进行比较
文件大小:43KB
文件格式:ZIP
更新时间:2024-05-21 11:08:41
Scala
分布式SDG 该项目展示了随机梯度下降算法的分布式实现。 它引入了同步和异步版本。 一方面,同步版本包括一个主节点,该主节点可确保在工作节点之间协调梯度的计算和SGD的更新步骤。 另一方面,在异步版本中,工作节点自己执行计算,并经常相互交换权重更新。 主机仅管理完整算法的开始和结束(例如,分割工作并收集结果)。 入门 cd data ./download.sh cd .. sbt > run > test > scalafmt 可以在src/main/resources/application.conf修改SGD设置。 在Kubernetes上运行 ./build.sh ./run.sh -async ./run.sh -sync 可以在kube/config-async.conf和kube/config-async.conf修改SGD设置。 数据集 RCV1可以从下载。 参考 RE
【文件预览】:
distributed-sgd-master
----data()
--------download.sh(954B)
----kube()
--------jvm()
--------monitor.yaml(2KB)
--------config-sync.yaml(438B)
--------config-async.yaml(488B)
--------dsgd.yaml(2KB)
--------grafana()
----LICENSE(11KB)
----src()
--------test()
--------main()
----build.sbt(3KB)
----run.sh(1KB)
----.gitignore(334B)
----.dockerignore(9B)
----project()
--------plugins.sbt(445B)
--------build.properties(19B)
----README.md(1KB)
----build.sh(232B)
----.scalafmt.conf(377B)