ReLU — PyTorch 2.3 documentation
torch.nn - PyTorch中文文档 (pytorch-cn.readthedocs.io)
非线性变换的目的
-
非线性变换的目的是为神经网络引入一些非线性特征，使其训练出一些符合各种曲线或各种特征的模型。
-
换句话来说，如果模型都是直线特征的话，它的泛化能力会不够好。
torch.nn.ReLU
torch.nn.ReLU(inplace=False)torch.nn.modules.activation — PyTorch 2.3 documentation
inplace参数：
-
inplace=True，则会自动替换输入时的变量参数。如：input=-1，ReLU(input,implace=True)，那么输出后，input=output=0
-
inplace=True，则不替换输入时的变量参数。如：input=-1，ReLU(input,implace=True)，那么输出后，input=-1，output=0
作用：
- input <= 0, output = 0
- input > 0, output = input
计算公式：
程序代码：
示例1：
import torch
from torch import nn
from torch.nn import ReLU
input =torch.tensor([
[1, -0.5],
[-1, 3]
])
print(input.shape)
input = torch.reshape(input,(-1,1,2,2))
print(input.shape)
class Tudui(nn.Module):
def __init__(self):
super(Tudui, self).__init__()
self.relu1 = ReLU() #inplace bool 原数据是否被替换
def forward(self, input):
output = self.relu1(input)
return output
tudui = Tudui()
output = tudui(input)
print(output)输出：
示例2：
import torchvision
from torch import nn
from torch.nn import ReLU, Sigmoid
from torch.utils.data import DataLoader
from torch.utils.tensorboard import SummaryWriter
dataset = torchvision.datasets.CIFAR10(root='./dataset', train=False, transform=torchvision.transforms.ToTensor(),
download=True)
dataloader = DataLoader(dataset, batch_size=64)
# shuffle 是否打乱 False不打乱
# drop_last 最后一轮数据不够时，是否舍弃 true舍弃
class Tudui(nn.Module):
def __init__(self):
super(Tudui, self).__init__()
self.sigmoid1 = Sigmoid() #inplace bool 原数据是否被替换
def forward(self, input):
output = self.sigmoid1(input)
return output
tudui = Tudui()
step = 1
writer = SummaryWriter('logs')
for data in dataloader:
imgs, targets = data
writer.add_images('inputs',imgs,step)
outputs = tudui(imgs)
writer.add_images("outputs",outputs,step)
step += 1
writer.close()在TensorBoard上看输出内容：
