网络上讲解 线性回归 与 逻辑斯谛回归的资料有很多，这里我从我自己的一个角度讲解这类问题
1.线性回归 Linear regression
线性回归即对于离散的点，用直线来拟合，其可解决形如下面的问题
图一
其线性函数表达式形式为：
对于这样的表达式结构，我不禁想起这样的一种结构形式
图二
每一圆圈代表一个神经元，那么这样的结构很像神经网络，只有输入输出层的一种特殊神经网络！那么很自然，这样的模型我们如何训练呢？首先，我们要拿出损失函数
损失函数为：
接下来，我们可以用梯度下降法训练模型。
2. 逻辑斯谛回归 logistic regression
如果，我们已知样本值，我们想知道模型将其归为某一类别的概率，也就是说，这样的模型不但能给我们预测样本的类别，还能告诉我们，他这样分类的概率是多少，分类确信度是多少。也就是说模型中能给我们这样一个表达
我们知道 P(Y|X) 的取值范围在 [0,1]内，而样本的取值是不确定，*限的。那么我可以做这样的变换，得到 p(x) 的表达
其中，w0 是一个特殊参数，和任何变量无关，可以保证在没有任何信息的时候，有一个稳定的概率分布[2]。那么概率p的表达式同样可以写成这样
其中函数 f() 就是sigmoid函数。这样的表达式，是不是和神经网络更像了呢？看看下面的模型结构你就知道了
同样只有输入、输出的神经网络，这时候的网络结构跟真正的神经网络除了层数有差别，其神经元是一样的。这一点跟线性回归不一样。因为logistic regression是预测概率，所以，我们可用极大似然估计来训练模型，其表达式如下
梯度下降法以及拟牛顿法都能求解该问题。如果，分类问题不止是两个类别呢？
类似于神经网络多输出结构模型。
参考文献
[1] 统计学习方法，李航
[2] 数学之美，吴军
[3] Multi-nominal Logistic Regression Models onlinecourses PENNSTATE