深度学习基础（三）—— 权值矩阵的初始化

权值矩阵初始化的方式与激励函数的类型有关：

对于 隐层 i ：

• tanh 型激励函数

  对称区间上的均匀分布： [−6fanin+fanout−−−−−−−−−√,6fanin+fanout−−−−−−−−−√]

• sigmoid 型激励函数

  对称区间上的均匀分布： [−46fanin+fanout−−−−−−−−−√,46fanin+fanout−−−−−−−−−√]

其中 fanin 为第 i−1 层的神经元的数目，则 fanout 为第 i 层的神经元的数目。

这种权值初始化机制确保你了，在模型训练的初期，信息很容易前向传播（传播的是激励activation）和后向传播（传播的是梯度gradients）。

1. 普通全连接层

class HiddenLayer(object):
def __init__(self, rng, inpt, 
 n_in, n_out, W=None, b=None, activation=T.tanh):
         self.inpt = inpt
if not W:
             W_values = np.asarray(
                 rng.uniform(
                     low=-np.sqrt(6/(n_in + n_out)),
                     high=np.sqrt(6/(n_in + n_out)),
                     size=(n_in, n_out)
                 ),
                 dtype=theano.config.floatX
             )
if activation == T.nnet.sigmoid:
                 W_values *= 4
             W = theano.shared(value=W_values, name='W', borrow=True)
if not b:
            b_values = np.asarray(np.zeros(n_out,), dtype=theano.config.floatX)
            b = theano.shared(value=b, name='b', borrow=True)
        self.W = W
        self.b = b

2. 卷积层

Convolutional Neural Networks (LeNet)

filter_shape，是长度为 4 的 tuple：

• number of filters,
• num input feature maps,
• filter height,
• filter width

fan_in = np.prod(filter_shape[1:])
fan_out = filter_shape[0]*np.prod(filter_shape[2:])
# 把池化层也包括在内；
# fan_out = flter_shape[0]*np.prod(filter_shape[2:])//poolsize

References

Understanding the difficulty of training deep feedforward neuralnetworks

Going from logistic regression to MLP