Python Logistic 回归分类

Logistic回归可以认为是线性回归的延伸，其作用是对二分类样本进行训练，从而对达到预测新样本分类的目的。
假设有一组已知分类的MxN维样本X，M为样本数，N为特征维度，其相应的已知分类标签为Mx1维矩阵Y。那么Logistic回归的实现思路如下：
（1）用一组权重值W（Nx1）对X的特征进行线性变换，得到变换后的样本X’（Mx1），其目标是使属于不同分类的样本X’存在一个明显的一维边界。
（2）然后再对样本X’进一步做函数变换，从而使处于一维边界两测的值变换到相应的范围之内。
（3）训练过程就是通过改变W尽可能使得到的值位于一维边界两侧，并且与已知分类相符。
（4）对于Logistic回归，就是将原样本的边界变换到x=0这个边界。
下面是Logistic回归的典型代码：

 
  # -*- coding: utf-8 -*- 
  
"""
 Created on Wed Nov 09 15:21:48 2016
 Logistic回归分类
 """ 
  
import numpy  
  as np 
  


class LogisticRegressionClassifier 
  ( 
  ): 
  
      
  
      
  def  
  __init__ 
  ( 
  self 
  ): 
  
          
  self._alpha  
  =  
  None 
  
      
  

      
  #定义一个sigmoid函数 
  
      
  def _sigmoid 
  ( 
  self 
  , fx 
  ): 
  
          
  return  
  1.0/ 
  ( 
  1 + np. 
  exp 
  (-fx 
  ) 
  ) 
  

      
  #alpha为步长（学习率）；maxCycles最大迭代次数 
  
      
  def _gradDescent 
  ( 
  self 
  , featData 
  , labelData 
  , alpha 
  , maxCycles 
  ): 
  
         dataMat  
  = np. 
  mat 
  (featData 
  )                       
  #size: m*n 
  
         labelMat  
  = np. 
  mat 
  (labelData 
  ). 
  transpose 
  ( 
  )         
  #size: m*1 
  
         m 
  , n  
  = np. 
  shape 
  (dataMat 
  ) 
  
         weigh  
  = np. 
  ones 
  ( 
  (n 
  ,  
  1 
  ) 
  )  
  
          
  for i  
  in  
  range 
  (maxCycles 
  ): 
  
             hx  
  =  
  self._sigmoid 
  (dataMat * weigh 
  ) 
  
             error  
  = labelMat - hx        
  #size:m*1 
  
             weigh  
  = weigh + alpha * dataMat. 
  transpose 
  ( 
  ) * error 
  #根据误差修改回归系数 
  
          
  return weigh 
  

      
  #使用梯度下降方法训练模型，如果使用其它的寻参方法，此处可以做相应修改 
  
      
  def fit 
  ( 
  self 
  , train_x 
  , train_y 
  , alpha 
  = 
  0.01 
  , maxCycles 
  = 
  100 
  ): 
  
          
  return  
  self._gradDescent 
  (train_x 
  , train_y 
  , alpha 
  , maxCycles 
  ) 
  

      
  #使用学习得到的参数进行分类 
  
      
  def predict 
  ( 
  self 
  , test_X 
  , test_y 
  , weigh 
  ): 
  
         dataMat  
  = np. 
  mat 
  (test_X 
  ) 
  
         labelMat  
  = np. 
  mat 
  (test_y 
  ). 
  transpose 
  ( 
  )   
  #使用transpose()转置 
  
         hx  
  =  
  self._sigmoid 
  (dataMat*weigh 
  )   
  #size:m*1 
  
         m  
  =  
  len 
  (hx 
  ) 
  
         error  
  =  
  0.0 
  
          
  for i  
  in  
  range 
  (m 
  ): 
  
              
  if  
  int 
  (hx 
  [i 
  ] 
  )  
  >  
  0.5: 
  
                  
  print  
  str 
  (i+ 
  1 
  )+ 
  '-th sample ' 
  ,  
  int 
  (labelMat 
  [i 
  ] 
  ) 
  ,  
  'is classfied as: 1'  
  
                  
  if  
  int 
  (labelMat 
  [i 
  ] 
  )  
  !=  
  1: 
  
                     error + 
  =  
  1.0 
  
                      
  print  
  "classify error." 
  
              
  else: 
  
                  
  print  
  str 
  (i+ 
  1 
  )+ 
  '-th sample ' 
  ,  
  int 
  (labelMat 
  [i 
  ] 
  ) 
  ,  
  'is classfied as: 0'  
  
                  
  if  
  int 
  (labelMat 
  [i 
  ] 
  )  
  !=  
  0: 
  
                     error + 
  =  
  1.0 
  
                      
  print  
  "classify error." 
  
         error_rate  
  = error/m 
  
          
  print  
  "error rate is:" 
  ,  
  "%.4f" %error_rate 
  
          
  return error_rate 
  
                      
  

秒客网

Python Logistic 回归分类

相关文章