接下来,我们将设置超参数优化所需的标准组件。我们将执行以下步骤:
1.下载FashionMNIST数据集。
2.定义超参数搜索空间:
我们定义(a)想要优化的超参数,以及(b)允许这些超参数取值的范围。在我们的例子中,我们将选择以下超参数:
-
神经网络隐藏层大小——整数值。
-
学习率——对数分布的浮点值。
-
优化器选择:分类选择(无顺序),在以下选项中选择:[“Adam”, “SGD”]。
3.定义目标函数:
目标函数是一个方法,用于在短暂的“超参数调优运行”中训练模型,并返回“模型好坏”的衡量指标。它可以是多种指标的组合,包括延迟等。但为了简单起见,这里我们只使用验证准确率。
请注意,这里模型训练10个周期,目标函数的输出是验证准确率。
# Split data into train and validation sets
transfor