深度学习小白——最优化问题

基于参数的评分函数将原始图像像素映射为分类评分值（如一个线性函数）

损失函数可以衡量某个具体参数集的质量好坏，有softmax 和 SVM 等不同实现方式

一、最优化

我们的目的就是找到能够使损失函数值最小的W值

方法一：随机搜索，随机指定W的值准确度：7%

bestloss = float("inf") # Python assigns the highest possible float value
for num in xrange(1000):
W = np.random.randn(10, 3073) * 0.0001 # generate random parameters
loss = L(X_train, Y_train, W) # get the loss over the entire training set
if loss < bestloss: # keep track of the best solution
bestloss = loss
bestW = W
print 'in attempt %d the loss was %f, best %f' % (num, loss, bestloss)

方法二：随机本地搜索，W+δW，随机一个W，然后生成一个随机的扰动δW，只有当W+δW的损失值变低，我们才会更新

W = np.random.randn(10, 3073) * 0.001 # 生成随机初始W
bestloss = float("inf")
for i in xrange(1000):
step_size = 0.0001
Wtry = W + np.random.randn(10, 3073) * step_size
loss = L(Xtr_cols, Ytr, Wtry)
if loss < bestloss:
W = Wtry
bestloss = loss
print 'iter %d loss is %f' % (i, bestloss)

准确度：12%

方法三：梯度下降

计算梯度1（数值计算）：深度学习小白——最优化问题

代码：此方法是一个一个W值计算梯度，非常慢

def eval_numerical_gradient(f, x):
""" 
 一个f在x处的数值梯度法的简单实现
 - f是只有一个参数的函数
 - x是计算梯度的点
 """ 

fx = f(x) # 在原点计算函数值
grad = np.zeros(x.shape)
h = 0.00001

# 对x中所有的索引进行迭代
it = np.nditer(x, flags=['multi_index'], op_flags=['readwrite'])
while not it.finished:

# 计算x+h处的函数值
ix = it.multi_index
old_value = x[ix]
x[ix] = old_value + h # 增加h
fxh = f(x) # 计算f(x + h)
x[ix] = old_value # 存到前一个值中 (非常重要)

# 计算偏导数
grad[ix] = (fxh - fx) / h # 坡度
it.iternext() # 到下个维度

return grad

def CIFAR10_loss_fun(W):
return L(X_train, Y_train, W)

W = np.random.rand(10, 3073) * 0.001 # 随机权重向量
df = eval_numerical_gradient(CIFAR10_loss_fun, W) # 得到梯度

loss_original = CIFAR10_loss_fun(W) # 初始损失值
print 'original loss: %f' % (loss_original, )

# 查看不同步长的效果
for step_size_log in [-10, -9, -8, -7, -6, -5,-4,-3,-2,-1]:
step_size = 10 ** step_size_log
W_new = W - step_size * df # 权重空间中的新位置
loss_new = CIFAR10_loss_fun(W_new)
print 'for step size %f new loss: %f' % (step_size, loss_new)

计算梯度2：微分分析计算梯度

【普通版】

while True:
weights_grad = evaluate_gradient(loss_fun, data, weights)
weights += - step_size * weights_grad # 进行梯度更新

【Mini-Batch gradient descent】

while True:
data_batch = sample_training_data(data, 256) # 256个数据
weights_grad = evaluate_gradient(loss_fun, data_batch, weights)
weights += - step_size * weights_grad # 参数更新

可以更快的收敛，当每批量中只有1个数据样本时，这种策略被称为随机梯度下降（SGD）

在实际应用中，使用分析梯度法会不准确，容易出错，所以我们要用梯度检查来检查分析梯度法和数值梯度法结果对比

秒客网

深度学习小白——最优化问题

相关文章