Matlab向量化编程实现机器学习算法---1

时间:2022-03-27 21:21:13


假设x和θ为向量(n+1维实向量空间),需要计算 z=θ(T)x(θ(T)表示θ的转置),那么可以按以下方式实现:
z = 0;
for i=1:(n+1),
    z = z + theta(i) * x(i);
end;

上述代码为非向量化编程,为了更加简洁和提高运行速度,可以采用以下向量化编程方式:

z = theta' * x;    %theta'表示θ的转置

对Matlab代码进行矢量化的工作很大一部分集中在避免使用for循环上,因为这可以使得Matlab更多地利用代码中的并行性,同时其解释器的计算开销更小。

下面给出一些算法的非向量化和向量化代码对照:

1. 逻辑回归梯度计算

% 代码1---非向量化
grad = zeros(n+1,1);
for i=1:m,
   h = sigmoid(theta'*x(:,i));    % sigmoid为S形函数
   temp = y(i) - h;
   for j=1:n+1,
       grad(j) = grad(j) + temp * x(j,i);
   end;
end;

嵌套的for循环语句使这段代码的运行非常缓慢。以下是更典型的实现方式,它对算法进行部分向量化,带来更优的执行效率:

% 代码2---部分向量化
grad = zeros(n+1,1);
for i=1:m,
     grad = grad + (y(i) - sigmoid(theta'*x(:,i)))* x(:,i);
end;

或许可以向量化得更彻底些。如果去除for循环,我们就可以显著地改善代码执行效率。特别的,假定b是一个列向量,A是一个矩阵,我们用以下两种方式来计算A*b:

% 矩阵-向量乘法运算的低效代码
grad = zeros(n+1,1);
for i=1:m,
    grad = grad + b(i) * A(:,i);   % 通常写法为A(:,i)*b(i)
end;

% 矩阵-向量乘法运算的高效代码
grad = A*b;

代码2是用了低效的for循环语句执行梯度上升运算,将b(i)看成(y(i) - sigmoid(theta'*x(:,i))),A看成x,我们就可以使用以下高效率的代码:

% 代码3---完全向量化
grad = x * (y- sigmoid(theta'*x));

Matlab的sigmoid(z)函数接受一个向量形式的输入z,依次对输入向量的每个元素施行sigmoid函数,最后返回运算结果,因此sigmoid(z)的输出结果是一个与z有相同维度的向量。


注:上述代码引自Standford大学Andrew Ng关于深度学习的文章