mesh:网格TensorFlow

【文件属性】：
文件名称：mesh:网格TensorFlow
文件大小：436KB
文件格式：ZIP
更新时间：2021-04-01 03:01:42
Python 网格TensorFlow-简化模型并行化 介绍 网格TensorFlow（ mtf ）是一种用于分布式深度学习的语言，能够指定广泛的分布式张量计算类。 Mesh TensorFlow的目的是为硬件/处理器上的计算图形式化并实施分配策略。 例如：“将批处理拆分成多个处理器行，并将隐藏层中的各个单元拆分成多个处理器列。” 网格TensorFlow被实现为TensorFlow上的一层。 观看我们的。 我需要网状TensorFlow吗？ 如果您只想进行数据并行训练（批处理拆分），则尽管Mesh TensorFlow可以做到这一点，但您不需要Mesh TensorFlow。 更复杂的并行计算的最常见原因是： 该模型的参数不适用于一种设备，例如50亿参数的语言模型。 一个例子如此之大，以致于激活不能在一台设备上进行。 -例如大型3D图像模型（ ）。 低延迟并行推理（批量大小为1时）。 网格T