文件名称：基于稳健设计的SGNS算法的超参数调优方法
文件大小：1.35MB
文件格式：PDF
更新时间：2024-05-20 09:04:30
稳健设计 信噪比 SGNS算法
通常给定超参数的若干取值选取性能最大的为最优组合（称为直接选优法），但是此方法的稳健性差。为此，提出了一种基于稳健设计的超参数调优方法（称为稳健调优法）。具体地，以SGNS算法中的超参数调优为例，在词语推断任务上实验并得出：经方差分析得到SGNS算法中的七个超参数中的五个对算法预测性能有显著影响，确定为主控因子，其余两个确定为噪声因子，且主控因子中有三个对性能估计的方差有显著影响，因此，调优中仅从期望最大来直接选优是不合理的；稳健调优法与直接选优法两者在预测性能上没有显著差异，但稳健调优法对噪声因子具有较好的稳健性。稳健调优法对一般的深度神经网络的调参有实际的借鉴意义。