logistic回归与牛顿方法的python实现 （standford公开课程小作业）

#coding=utf-8
#文件开头加上、上面的注释。不然中文注释报错

#第一个自己学的机器学习算法、我目前只给出自己写的代码、注释较多。关于logistic regression和牛顿方法的概念，这里就不给出了。
from numpy import *
from math import *
import operator
import matplotlib
import matplotlib.pyplot as plt
#logistic regression ＋ 牛顿方法
def file2matrix(filename1,filename2):#完成了文件读取、迭代运算及绘图
    fr1 = open(filename1)#打开一个文件
    arrayOflines1 = fr1.readlines()#返回一个行数组
    numberOfLines1 = len(arrayOflines1)#计算行数
    matrix = zeros((numberOfLines1,3))#生成一个全零二维数组，numberOflines1行 3列。其实数据只有两列，一列全是1.
    row = 0
    for line in arrayOflines1:
        line = line.strip()#声明：s为字符串，rm为要删除的字符序列 s.strip(rm)删除s字符串中开头、结尾处，位于 rm删除序列的字符
                            #s.lstrip(rm)       删除s字符串中开头处，位于 rm删除序列的字符
                            #s.rstrip(rm)      删除s字符串中结尾处，位于 rm删除序列的字符
                            #注意：#1. 当rm为空时，默认删除空白符（包括'\n', '\r',  '\t',  ' ')
        listFromLine = line.split('  ')#将一行按（）中的参数符号分开放入一个list中
        listFromLine[0:0] = ['1']#在list中最前面插入1，上面说了有一列全为一
        for index,item in enumerate(listFromLine):#将list中的字符串形式的，全转换为对应的数值型。
            listFromLine[index] = eval(item)
        matrix[row,:] = listFromLine[:]#每个list赋给对应的二维数组的对应行
        row+=1
    matrix = mat(matrix)#将数组转换为矩阵
    fr1.close()
    fr2 = open(filename2)
    arrayOflines2 = fr2.readlines()
    numberOfLines2 = len(arrayOflines2)
    matrixy = zeros((numberOfLines2,1))
    row = 0;
    for line in arrayOflines2:
        line = line.strip()
        listFromLine = [line]
        for index,item in enumerate(listFromLine):
            listFromLine[index] = eval(item)
        matrixy[row,:] = listFromLine[:]
        row+=1
    matrixy = mat(matrixy)
    fr2.close()
    tempxxt = dot(matrix.T,matrix).I#这一部分乘上下面的denominator()既为H.I（Hessian矩阵的逆）
    theta=mat(zeros((3,1)))#初始θ参数，全零
    for i in range(0,2000):#迭代2000次得到了比较好的结果。我采取的可能是全向量的形式计算，感觉迭代次数有点偏多
        temphypo=Hypothesis(theta,matrix,row)
        tempdenominator=denominator(temphypo,row)
        tempnumerator=numerator(temphypo,matrixy,matrix)
        theta = theta+dot(tempxxt,tempnumerator)/tempdenominator
    temparray = ravel(Hypothesis(theta,matrix,row))
    temptheta = ravel(theta)
    for i in range(0,row):#根据hypothesis函数的值进行标记,方便绘图
        if(temparray[i]>=0.5):
            temparray[i]=1
        else:
            temparray[i]=0;
    fig = plt.figure()#生成了一个图像窗口
    ax = fig.add_subplot(111)#刚才窗口中的一个子图
    ax.scatter(ravel(matrix[:,1]),ravel(matrix[:,2]),200,20*temparray)#生成离散点，参数分别为点的x坐标数组、y坐标数组、点的大小数组、点的颜色数组
    x=linspace(-1,10,100)#起点为－1，终止10，100个元素的等差数组x
    ax.plot(x,-(temptheta[0]+temptheta[1]*x)/temptheta[2])#绘制x为自变量的函数曲线
    plt.show()

def Hypothesis(theta,x,row):#假设函数、是一个向量形式
    hypo = zeros((row,1))
    for i in range(0,row):
        temp = exp(-dot(theta.T,x[i].T))
        hypo[i,:] = [1/(1+temp)]
    return hypo

def denominator(hypo,row):#分母部分
    temp=zeros((row,1))
    temp.fill(1)
    temp=temp-hypo
    temp=dot(hypo.T,temp)
    return temp

def numerator(hypo,y,x):#牛顿方法的分子，我们要做的就是迭代使这一部分接近零
    temp = y-hypo
    temp = dot(temp.T,x)
    return temp.T