Deep Learning 系列（1）：RBM（受限波尔兹曼机）和 DBN（深信度神经网络）

前言：Deep Learning （DL深度学习）是近几年来最火的一种机器学习方法，由Hinton（多伦多大学）提出。主要有两分支：Geoffery Hinton和Joshua Bengio这一支用RBM组成deep architecture的研究。另一支是以Yann LeCun和Andrew Ng的(deep) convolutional networks，用convolutional network组成deep architecture的研究。

这篇博文主要介绍Hinton第一分支中最基础的算法RBM（受限玻尔兹曼机），DBN（深信度神经网络）是由其叠加而成。

Deep Learning 是无监督学习，也就是自动的提取信号特征，并由浅入深。理想情况是，由深层特征能100%还原最初的原始信号。由此，我们是否想到，其间的代价函数是失真差呢？

正文：废话不多说了哈！

Deep Learning 系列（1）：RBM（受限波尔兹曼机）和 DBN（深信度神经网络）

这里：只截取了RBM的程序片段，弄清楚这个，基本DBN就差不多了！ Deep Learning Tool （matlab版，下载）

function rbm = rbmtrain(rbm, x, opts)
    assert(isfloat(x), 'x must be a float');
    assert(all(x(:)>=0) && all(x(:)<=1), 'all data in x must be in [0:1]');
    m = size(x, 1);
    numbatches = m / opts.batchsize;

    assert(rem(numbatches, 1) == 0, 'numbatches not integer');

    for i = 1 : opts.numepochs
        kk = randperm(m);%随机产生1-m内的数
        err = 0;
        for l = 1 : numbatches  % 这里很重要，参数W,b,c 的更新是以batchsize为单位，更新numbatches次（后面的NN训练中，也是这样）
            batch = x(kk((l - 1) * opts.batchsize + 1 : l * opts.batchsize), :);%这种表示法可以选取指定行列的数组（重要!）

            v1 = batch;
            h1 = sigmrnd(repmat(rbm.c', opts.batchsize, 1) + v1 * rbm.W');
            %Ref110,Hinton-guide-3.1里有介绍，“the hidden unit turns on if this probability is greater than a random number uniformly distributed between 0 and 1.”
            v2 = sigmrnd(repmat(rbm.b', opts.batchsize, 1) + h1 * rbm.W);
            h2 = sigm(repmat(rbm.c', opts.batchsize, 1) + v2 * rbm.W');

            c1 = h1' * v1;
            c2 = h2' * v2;

            rbm.vW = rbm.momentum * rbm.vW + rbm.alpha * (c1 - c2)     / opts.batchsize;
            rbm.vb = rbm.momentum * rbm.vb + rbm.alpha * sum(v1 - v2)' / opts.batchsize;
            rbm.vc = rbm.momentum * rbm.vc + rbm.alpha * sum(h1 - h2)' / opts.batchsize;

            rbm.W = rbm.W + rbm.vW;
            rbm.b = rbm.b + rbm.vb;
            rbm.c = rbm.c + rbm.vc;

            err = err + sum(sum((v1 - v2) .^ 2)) / opts.batchsize;
        end

        disp(['epoch ' num2str(i) '/' num2str(opts.numepochs)  '. Average reconstruction error is: ' num2str(err / numbatches)]);

    end
end