【文件属性】:
文件名称:distributed-sgd:分布式随机梯度(GRPCKubernetes)并与Hogwild进行比较
文件大小:43KB
文件格式:ZIP
更新时间:2021-05-01 17:22:01
Scala
分布式SDG
该项目展示了随机梯度下降算法的分布式实现。 它引入了同步和异步版本。 一方面,同步版本包括一个主节点,该主节点可确保在工作节点之间协调梯度的计算和SGD的更新步骤。 另一方面,在异步版本中,工作节点自己执行计算,并经常相互交换权重更新。 主机仅管理完整算法的开始和结束(例如,分割工作并收集结果)。
入门
cd data
./download.sh
cd ..
sbt
> run
> test
> scalafmt
可以在src/main/resources/application.conf修改SGD设置。
在Kubernetes上运行
./build.sh
./run.sh -async
./run.sh -sync
可以在kube/config-async.conf和kube/config-async.conf修改SGD设置。
数据集
RCV1可以从下载。
参考
RE
【文件预览】:
distributed-sgd-master
----data()
--------download.sh(954B)
----kube()
--------jvm()
--------monitor.yaml(2KB)
--------config-sync.yaml(438B)
--------config-async.yaml(488B)
--------dsgd.yaml(2KB)
--------grafana()
----LICENSE(11KB)
----src()
--------test()
--------main()
----build.sbt(3KB)
----run.sh(1KB)
----.gitignore(334B)
----.dockerignore(9B)
----project()
--------plugins.sbt(445B)
--------build.properties(19B)
----README.md(1KB)
----build.sh(232B)
----.scalafmt.conf(377B)