如何使用Optuna在PyTorch中进行超参数优化-第二步:定义搜索空间和目标函数

时间:2024-10-01 07:31:14

接下来,我们将设置超参数优化所需的标准组件。我们将执行以下步骤:

1.下载FashionMNIST数据集

2.定义超参数搜索空间:

我们定义(a)想要优化的超参数,以及(b)允许这些超参数取值的范围。在我们的例子中,我们将选择以下超参数:

  • 神经网络隐藏层大小——整数值。

  • 学习率——对数分布的浮点值。

  • 优化器选择:分类选择(无顺序),在以下选项中选择:[“Adam”, “SGD”]。

3.定义目标函数:

目标函数是一个方法,用于在短暂的“超参数调优运行”中训练模型,并返回“模型好坏”的衡量指标。它可以是多种指标的组合,包括延迟等。但为了简单起见,这里我们只使用验证准确率。
请注意,这里模型训练10个周期,目标函数的输出是验证准确率。

# Split data into train and validation sets
transfor