一：梯度下降：
梯度下降本质上是对极小值的无限逼近。先求得梯度，再取其反方向，以定步长在此方向上走一步，下次计算则从此点开始，一步步接近极小值。需要注意的是步长的取值，如果过小，则需要多次迭代，耗费大量时间才能取得极小值;如果过大，则可能难以取得较为接近极小值的点，在极小值两边来回跳跃，无法接近极小值。
而步长的取值往往于梯度有关，如果梯度的值较大，则步长可以取大的值，如果梯度较小，则步长应取较小值。
优势：高效，优化途径多
劣势：需要一些超参数：regularization（正则化）参数以及number of iterations（迭代次数），对feature scalling（特征缩放）敏感。
from sklearn.linear_model import SGDClassifier as SGD x=[[0,0],[1,1]]
y=[0,1]
clf = SGD(alpha=0.0001, average=False, class_weight=None, epsilon=0.1,
eta0=0.0, fit_intercept=True, l1_ratio=0.15,
learning_rate='optimal', loss='hinge', max_iter=5, n_iter=None,
n_jobs=1, penalty='l2', power_t=0.5, random_state=None,
shuffle=True, tol=None, verbose=0, warm_start=False)
clf.fit(x,y)
print(clf.predict([[2,2]]))
print(clf.coef_)
print(clf.intercept_)
print(clf.decision_function([[2,2]])
根据官方网站的代码，使用了SGDClassifier分类器，进行了尝试。
# coding = UTF-8
from sklearn.linear_model import SGDClassifier as SGD
from sklearn.datasets.samples_generator import make_blobs
import matplotlib.pyplot as plt
import numpy as np X,y = make_blobs(n_samples=50,centers=2,random_state=0,cluster_std=0.6)
clf = SGD(loss='hinge',alpha=0.01,max_iter=200,fit_intercept=True)
clf.fit(X,y)
print("预测1：",clf.predict([[1,10]]))
print("预测2：",clf.predict([[2,2]]))
print("回归系数：",clf.coef_)
print("偏差",clf.intercept_)
print("##################")
print(X.shape）
print(y.shape)
使用make_blobs创建数据测试。
注：
loss="hinge": (soft-margin) linear Support Vector Machine （（软-间隔）线性支持向量机），loss="modified_huber": smoothed hinge loss （平滑的 hinge 损失），loss="log": logistic regression （logistic 回归），- and all regression losses below（以及所有的回归损失）。
前两个 loss functions（损失函数）是懒惰的，如果一个例子违反了 margin constraint（边界约束），它们仅更新模型的参数, 这使得训练非常有效率,即使使用了 L2 penalty（惩罚）我们仍然可能得到稀疏的模型结果。
梯度下降需注意参数：
alpha：乘以正则化项的常数，默认0.0001。当被设置为‘optimal’时也被用于计算学习效率
fit_intercept：是否该截取截距，默认True。如果为‘False’则假定数据以及居中。
梯度下降常用方法：
fit(X,y,coef_init=None,intercept_init=None,sample_weight=None)：拟合线性模型（训练）
X：{类似数组的稀疏矩阵}，形式：(n_sanmples,n_features)。
y：类似数组，形式：(n_samples)。
sample_weight：数组样本，形式：(n_samples,),optional（可选），可以设定个别样本的权重，如果不设定，则默认相等。
predict(X):用于预测X样本中的标签（结果/分类）
X:{类似数组的稀疏矩阵}，形式：[n_samples,n_features]。
score(X,y,samples_weight=None):：（与上方相同）用于返回测试数据和标签（结果）的平均精度。
二：逻辑回归（逻辑斯特增长模型）：
逻辑回归实际为一种分类的线性模型。如图，值域为0~1。如果需要解决非线性问题，与支持向量机SVM的思路相同，即将特征映射到高维来解决问题。因此，也可用梯度下降来求解。
import numpy as np
import pandas as pd
from sklearn.linear_model import LogisticRegression as Log data=[ [-0.017612,14.053064,0],
[-1.395634,4.662541,1],
[-0.752157,6.538620,0],
[-1.322371,7.152853,0],
[0.423363,11.054677,0],
[0.406704,7.067335,1],
[0.667394,12.741452,0],
[-2.460150,6.866805,1],
[0.569411,9.548755,0],
[-0.026632,10.427743,0],
[0.850433,6.920334,1],
[1.347183,13.175500,0],
[1.176813,3.167020,1],
[-1.781871,9.097953,0],
[-0.566606,5.749003,1],
[0.931635,1.589505,1],
[-0.024205,6.151823,1],
[-0.036453,2.690988,1],
[-0.196949,0.444165,1],
[1.014459,5.754399,1] ] dataMat = np.mat(data)
y=dataMat[:,2]
b=np.ones(y.shape)
x=np.column_stack((b,dataMat[:,0:2]))
x=np.mat(x) model = Log()
model.fit(x,y)
print(model) predicted = model.predict(x)
answer = model.predict_proba(x)
print (predicted)
print(answer)
LogisticRegression中有这些参数需要注意：
penalty：'l1','l2'使用l1正则化，还是l2，默认l2
tol：精度为多少时可以停止计算，默认1e-4（十的负四次方）
C：C越大，正则化因子所占比例越小，C越小，正则化因子所占比例越大，默认1.0
solver：使用什么方法，默认liblinear（线性算法）。newton-cg，lbfgs，liblinear（对小数据集表现较好，大数据集建议使用sag及saga），sag（随即平均梯度下降算法Stochastic Average Gradient desqent solver），saga。
max_iter：最大迭代次数，默认100。
LogisticRegression常用方法：
fit(X,y,sample_weight=None)：用于拟合模型（训练）
X：{类似数组的稀疏矩阵}，形式：(n_samples,n_features)。
y：类似数组，形式：(n_samples)。
sample_weight：数组样本，形式：(n_samples,),optional（可选），可以设定个别样本的权重，如果不设定，则默认相等。
predict(X)：用于预测X样本的标签（结果/分类）
X：同上。
返回C：数组，形式：[n_samples]
predict_proba(X)：用于预测为对应标签的概率
X：同上。
返回一个n行k列的数组，n对应样本数量，k为可能的标签（结果/分类），每一行的结果之和应为1