AI-逻辑回归函数、激活函数、损失函数

时间:2023-03-08 22:41:21

最近开始学习人工智能,先从基本的概念学起

逻辑回归函数(预测函数):z = dot(w,x) + b

  解释:假设有三个特征,即x可以表示为(x1,x2,x3),w表示权重,对应每个特征的重要程度,b表示阈值,z是预测值,展开公式,即z=(x1*w1+x2*w2+x3*w3)+b

激活函数:f(z)=(1+ez-1 用于使预测值z在[0-1]区间上,曲线图如下

    AI-逻辑回归函数、激活函数、损失函数

损失函数:判断自己是否预测的正确,单个训练样本的损失函数如下:

  AI-逻辑回归函数、激活函数、损失函数

  即整个训练集的损失函数可以得出以下公式,可以成为成本函数:AI-逻辑回归函数、激活函数、损失函数

结果越大,说明成本越大,预测越不准确。要想预测准确,必须使得成本函数尽量小,而影响成本函数的参数中,只有w、b两个变量,所以最终目的是求得合适的w和b,怎么求,就是神经网络学习的过程,待续。。。