利用SPSS进行一致性检验并计算Kappa值

例子：对弹幕文本的分类编码，判定结果为A~N 14种类别。采用Cohen\'s kappa系数分析。

一、问题与数据

　　通过分析弹幕用户所发送的弹幕，判断其使用弹幕的动机。现拟分析不同编码员判断的一致性，随机抽取600份弹幕文本，再分别请两位编码员进行分类，判断弹幕动机属于哪种分类。这两位编码员操作的是同一份文本，编号统一，部分研究数据如下：

在本研究中，研究者拟探讨两位警察对受试者行为判断的一致性，我们推荐使用 Cohen\'s kappa系数分析。一般来说，采用Cohen\'s kappa系数的研究设计需要满足以下5项假设：

　　假设1：判定结果是分类变量且互斥。如本研究中受试者行为的判定结果为“正常”或“可疑”，属于分类变量，并且相互排斥。

　　假设2：要求进行观测变量配对，即不同观测者判定的对象相同。如本研究中，两位警察观看的是同一组录像，编号统一。

　　假设3：每个观察对象可能被判定的结果种类相同。如本研究中每位受试者的行为都可能被判定为“正常”或“可疑”。

　　假设4：观测者之间相互独立。这要求不同观测者独立完成结果判定，相互不干扰。

　　假设5：由固定的两位观测者完成所有判定。如本研究中由两位警察分别观看100段录像，中途不换人。

　　根据研究设计，我们认为本研究符合Cohen\'s kappa系数的5项假设，可以采用该分析方法进行一致性评价。

注释：如果大家想要得到频率的预测值，可以点击计数栏中的期望；若大家还想得到百分比值，可以点击百分比栏中的行、列和总计

　　从上表可以看出，本研究共有600对有效数据，没有缺失，总数据为600例。编码1和编码2的交叉表，如下：

kappa系数是统计学中度量一致性的指标, 值在[-1,1]. 对于评分系统, 一致性就是不同打分人平均的一致性; 对于分类问题，一致性就是模型预测结果和实际分类结果是否一致. kappa系数的计算是基于混淆矩阵, 取值为-1到1之间, 通常大于0.

计算：

公式为：

参考：