文件名称：tensornet
文件大小：740KB
文件格式：ZIP
更新时间：2024-04-10 09:43:25
C++
TensorNet是一个重建在TensorFlow之上针对广告推荐等大规模稀疏场景优化的分布式训练框架。TensorNet的目标是让所有使用TensorFlow的开发者可以快速的，方便的训练出稀疏参数超过百亿的超大模型。 TensorNet训练架构 在仅有的CPU的可用中使用参数服务器的同步训练模式是训练模型速度加速的方法，TensorNet转化训练架构与TensorFlow的异步训练架构有很大的区别： TensorNet将稀疏参数和与密集参数分别使用不同的参数服务器管理。 TensorNet不设单独的参数服务器。在每个worker中都会维护一个稀疏的参数服务器和密集的参数服务器。 这相较于TensorFlow需要让开发者根据自身情况将张量分布在不同的小了的通信通信的概率，还无法消除开发者的工作量。 TensorNet将模型的所有密集参数合并后使用分散的切片切分到不同的机器上，每次