梯度反向传播过程是如何处理repeat函数的

时间:2024-04-05 14:14:45

举个例子

import torch

# 假设有一个简单的计算图
x = torch.tensor(2.0, requires_grad=True)
c=x.repeat(2,1)
y = c ** 2


print(x,"\n",c,"\n",y)
torch.sum(y)

z = torch.sum(y)

# 计算梯度
grads = torch.autograd.grad(z, x)
# 打印梯度
print("Gradient of z w.r.t. x:", grads)

输出

tensor(2., requires_grad=True) 
 tensor([[2.],
        [2.]], grad_fn=<RepeatBackward0>) 
 tensor([[4.],
        [4.]], grad_fn=<PowBackward0>)
Gradient of z w.r.t. x: (tensor(8.),)

在你的代码中,首先创建了一个张量 x,然后使用 repeat 函数将其在第0维(行)上重复2次,形成一个形状为 (2, 1) 的张量 c。然后,计算了 c 的平方,得到张量 y。最后,对 y 求和,得到标量张量 z。
因为 z 是一个标量,所以可以对它对 x 求梯度。现在让我们来分析一下为什么计算出的梯度是8:
首先,我们有 y = c ** 2,其中 c 是重复了两次的 x。所以 y 的值为 [4.0, 4.0]。然后,我们对 y 求和,得到 z = 8.0。
接下来,我们要计算 z 对 x 的梯度。由于 z 是标量,所以 torch.autograd.grad 函数的返回值是一个包含一个元素的元组,即 (grad_x,)。因此,grads 的值是一个包含一个张量的元组。在这种情况下,梯度的计算是通过链式法则完成的,即 dz/dx = dz/dy * dy/dc * dc/dx。在这里,dz/dy 是1,因为 z 是 y 的总和,dy/dc 是2,因为 y 中每个元素对 c 的导数都是2,dc/dx 是2,因为 c 是通过将 x 重复两次得到的,所以 x 对 c 的导数是2。因此, dz/dx = 1 * 2 * 2 = 4 * 2 = 8。
因此,计算出的梯度是8。

太神奇了,dc/dx的结果就是重复的次数!,那其实repeat函数的效果相对于放大了repeat对象的学习率,放大倍数就是repeat的次数,所以慎用repeat呀!