Kendall’s tau-b,pearson、spearman三种相关性的区别(有空整理信息检索评价指标)

时间:2022-02-04 20:37:18

同样可参考:

http://blog.csdn.net/wsywl/article/details/5889419

http://wenku.baidu.com/link?url=pEBtVQFzTx0I9T9vr01WS6_NmOY7EylNwa-suKpx3ab1YZfL4QvYsPt2chXyvXOvU3bBa_CrTOaZ0QV_KmcMCmTrqXvZQNKy-cLHQ8J2Y0q

 

 

转自:https://www.douban.com/note/267043565/

 

 

测量相关程度的相关系数很多,各种参数的计算方法及特点各异。

 连续变量的相关指标:

      此时一般用积差相关系数,又称pearson相关系数来表示其相关性的大小,积差相关系数只适用于两变量呈线性相关时。其数值介于-1~1之间,当两变量相关性达到最大,散点呈一条直线时取值为-1或1,正负号表明了相关的方向,如果两变量完全无关,则取值为零。

      作为参数方法,积差相关分析有一定的适用条件,当数据不能满足这些条件时,分析者可以考虑使用Spearman等级相关系数来解决问题。

 有序变量的相关指标:

      所谓有序的等级资料的相关性/一致性高,就是指行变量等级高的列变量等级也高,反之亦然。如果行变量等级高而列变量等级低,则被称为不一致。

 简单相关分析:

      当两个连续变量在散点图上的散点呈现直线趋势时,就可以认为二者存在直线相关趋势,也称为简单相关趋势。Pearson相关系数,也称乘积相关系数,就是人们定量描述线性相关程度好坏的一个常用指标。

 积差相关系数的适用条件:

      在相关分析中首先要考虑的问题就是两个变量是否可能存在相关关系,如果得到了肯定的结论,那才有必要进行下一步定量的分析。另外还必须注意以下几个问题:

1、 积差相关系数适用于线性相关的情形,对于曲线相关等更为复杂的情形,积差相关系数的大小并不能代表相关性的强弱。

2、 样本中存在的极端值对积差相关系数的影响极大,因此要慎重考虑和处理,必要时可以对其进行剔出,或者加以变量变换,以避免因为一两个数值导致出现错误的结论。

3、 积差相关系数要求相应得变量呈双变量正态分布,注意双变量正态分布并非简单的要求x变量和y变量各自服从正态分布,而是要求服从一个联合的双变量正态分布。

 以上几条要求中,前两者的要求最严,第三条比较宽松,违反时系数的结果也是比较稳健的。

 Spearman相关系数又称为秩相关系数,使利用两变量的秩次大小作线性相关分析,对原始变量的分布不做要求,属于非参数统计方法。因此它的适用范围比Pearson相关系数要广的多。即使原始数据是等级资料也可以计算Spearman相关系数。对于服从Pearson相关系数的数据也可以计算Spearman相关系数,但统计效能比Pearson相关系数要低一些(不容易检测出两者事实上存在的相关关系)。

 Kendall’s tau-b等级相关系数是用于反映分类变量相关性的指标,适用于两个变量均为有序分类的情况。

 简单相关和偏相关有一个共同点,就是对所分析的数据背景应当有一定程度的了解。在这种情况下进一步进行积差相关系数的计算,以在定量的水平上对这种关联予以确认。同理,计算偏相关系数也是同样的情况,只是又在计算积差相关系数的基础上考虑了其他因素的影响。但有的时候会遇到一种情况,在分析前对数据所代表的专业背景知识了解的尚不充分,本身就属于探索性的研究,这时往往需要先对各个指标或者案例的差异性、相似程度进行考察,以先对数据有一个初步的了解,然后再根据结果考虑如何进行深入的分析。

 Distinces过程就可以用于计算记录(或变量)间的距离(或相似程度),根据变量的不同类型,可以有许多距离、相似程度测量指标供用户选择。但由于本模块只是一个预分析的过程,因此距离分析并不会给出常用的p值,而只给出各变量/记录之间的距离大小,以供用户自行进行判断相似性。

 Distinces过程可以计算距离测量指标或者相似性测量指标,这可以在主对话框中加以切换。

 距离测量指标,根据不同的数据类型,距离测量指标也有所不同。分为连续性变量、频数表资料和二分类变量三种。

 相似性测量指标时间上就是前述的那些相关分析指标体系,只是更为详细一些,主要分为剂量资料和二分类变量两种。

 相关和回归描述的是两变量间联系的不同侧面,简单回归分析就是寻找因变量数值随自然量变化而变化的直线趋势,并在散点图上找到这样一条直线,相应得方程也就被称为直线回归方程。

通过回归方程解释两个变量之间的关系会显得更为精确。除了描述两个变量之间的关系外,回归方程还可以进行预测和控制。

 无序分类变量的统计推断:x2检验

主要用于检验某无序分类变量各水平在两组或多组间的分布是否一致。还可以用于检验一个分类变量各水平出现的概率是否等于指定概率;一个连续变量的分布是否符合某种理论分布等。其主要用途:

1、 检验某个连续变量的分布是否与某种理论分布相一致。

2、 检验某个分类变量各类的出现概率是否等于制定概率。

3、 检验某两个分类变量是否相互独立。

4、 检验控制某种或某几种分类因素的作用以后,另两个分类变量是否相互独立。

5、 检验某两种方法的结果是否一致。

  

主成分分析只是一种中间手段,其背景是研究中经常会遇到多指标的问题,这些指标间往往存在一定的相关,直接纳入分析不仅复杂,变量间难以取舍,而且可能因多元共线性而无法得出正确结论。主成分分析的目的就是通过线性变换,将原来的多个指标组合成相互独立的少数几个能充分反映总体信息的指标,便于进一步分析。