1. 基本形式
给定由$d$个属性描述的示例 $\textbf{x} =(x_1;x_2;...,x_n)$,其中$x_i$是$x$在第$i$个属性上的取值，线性模型（linear model）试图学习一个通过属性的线性组合来进行预测的函数，即
$f(\textbf{x}) = \theta_0+\theta_1x_1+\theta_2x_2 +...+\theta_nx_n$ (1)
这里为了计算方便，我们添加$x_0=0$, 则向量形式则为
$f(\textbf{x}) = \Theta^T\textbf{x} $ (2)
其中$\Theta = (\theta_0;\theta_1;\theta_2;...;\theta_n)$. $\Theta$学得之后，模型就可以确定。
2. 线性回归（linear regression）
我们将要用来描述回归问题的标记如下：
$m$ 代表训练集中实例的数量
$n$ 代表属性特征数量
$x$ 代表特征/输入变量
$y$ 代表目标变量/输出变量
$x^{(i)},y^{(i)}$ 代表第 $i$ 个实例
线性回归试图学得
$f(\textbf{x}) = \Theta^T\textbf{x}$, 使得 $f(\textbf{x}) ≈y$
均方误差是回归任务中常用的性能度量：
$(\Theta^*) = \arg\underset{\Theta}{\min}\sum_{i=1}^{m}[f(x^{(i)}) - y^{(i)}]^2$
求解$\Theta$有以下两种方法。
梯度下降法：(需要选择学习率$\alpha$,需要多次迭代，适用各种类型)
代价函数：$J(\Theta) = \frac{1}{2m}\sum_{i=1}^{m}[f(x^{(i)}) - y^{(i)}]^2 \ +\ \frac{\lambda}{2m}\sum_{j=1}^{n}\theta_j^2$ （后面是正则化项，防止过拟合）
梯度下降法：$\theta_j := \theta_j - \alpha\frac{\partial}{\partial{\theta_j}}J(\theta)$
repeat until convergence{
$\theta_j := \theta_j - \alpha\frac{1}{m}[(f(x^{(i)}) - y^{(i)})x_j^{(i)}] \ - \ \alpha\frac{\lambda}{m}\theta_j$
}
正规方程求解：(适用于特征数较少，$\textbf{x}^T\textbf{x}$必须可逆，只适用线性模型)
$\Theta = (\textbf{x}^T\textbf{x})^{-1}\textbf{x}^Ty$
3. 逻辑回归（logistic regression）
逻辑回归即二分类问题，其输出标记$y\in[0,1]$.
这里我们使用简单的 Sigmoid 函数将连续输出映射为0/1输出：
$f(\textbf{x}) = \frac{1}{1+e^{\textbf{-}\Theta^T\textbf{x}}}$
类似于线性回归梯度下降法求解方式一样：
代价函数：$J(\Theta) = -\frac{1}{m}[y^{(i)}\log f(x^{(i)})+(1-y^{(i)})\log (1-f(x^{(i)})] \ + \ \frac{\lambda}{2m}\sum_{j=1}^{n}\theta_j^2$ （后面是正则化项）
梯度下降法：$\theta_j := \theta_j - \alpha\frac{\partial}{\partial{\theta_j}}J(\theta)$
repeat until convergence{
$\theta_j := \theta_j - \alpha\frac{1}{m}[(f(x^{(i)}) - y^{(i)})x_j^{(i)}] \ - \ \alpha\frac{\lambda}{m}\theta_j$
}
4. 多分类学习（multiclass classification）
一种解决这种问题的途径是采用一对多（One-vs-All）方法。在一对多方法中，我们将多分类问题转化成二元分类问题。为了实现这样的转变，我们将多个类中的一个类标记为正向类（y=1）,其他所有类标记为负向类，这个模型记作$f^{(1)}(\textbf{x})$。接着，类似地我们选择第二个类作为正向类（y=2），再将其他类标记为负向类，将这个模型记作$f^{(2)}(\textbf{x})$,以此类推。最后，我们需要预测时，将所有分类器都运行一遍，然后对每个输入变量，选择最高的可能性的输出变量。
5. 特征缩放（feature scaling）
在我们面对多特征问题时，我们要保证这些特征都具有相似的尺度，这将帮助梯度下降算法更快的收敛。
解决的方法是尝试将所有的特征的尺度都尽量缩放到-1到1之间。最简单的方法是令：
$x_n = \frac{x_n-\mu_n}{s_n}$
其中$\mu_n$是平均值，$s_n$是标准差（或用max-min代替也行）。
这里为了计算方便，我们添加$\theta_0$, 则有：