科恩的 卡帕系数 计算器是一种统计工具,用于测量两个评分者或观察者之间的一致性水平,同时考虑偶然出现一致性的可能性。它在做出主观判断的场景中特别有用,例如心理评估、内容分类或医学诊断。与简单的百分比一致性不同,Cohen's Kappa 会根据随机机会进行调整,从而提供更准确的评分者间信度度量。此计算器属于 统计可靠性计算器类别,帮助研究人员、统计学家和专业人员评估分类数据的一致性和有效性。
科恩卡帕系数计算器公式
Cohen 的 Kappa 使用以下公式计算:
地点:
- Po 是观察到的评估者之间的一致性比例。
- Pe 是偶然一致预期比例。
详细公式:
遵守的协议(Po):
Po = 一致性数/总观测值
预期协议 (Pe):
Pe = Σ (PAi × PBi)
地点:
- 聚乙二醇 是评估者A使用类别i的次数比例,计算方法为:评估者A使用类别i的次数/总观察次数。
- PBi 是评级者B使用类别i的次数比例,计算方法类似。
这些计算确保结果考虑到了偶然一致性,从而为可靠性提供了可靠的衡量标准。
Cohen 的 Kappa 情景的预先计算表
下面是一个有用的表格,总结了常见情景的预先计算的 Cohen's Kappa 值,从而更容易解释结果而无需手动计算:
遵守的协议 (Po) | 预期协议 (Pe) | 科恩的 Kappa (κ) | 解释 |
---|---|---|---|
0.90 | 0.50 | 0.80 | 近乎完美的一致 |
0.75 | 0.25 | 0.67 | 实质性协议 |
0.60 | 0.30 | 0.43 | 中等同意 |
0.50 | 0.40 | 0.17 | 略有同意 |
0.30 | 0.20 | 0.13 | 略有同意 |
0.20 | 0.10 | 0.11 | 一致性较差 |
该表可以引导用户快速了解可靠性等级,而无需进行详细的计算。
Cohen 的 Kappa 系数计算器示例
让我们考虑一个例子。假设两个医疗评估员评估 100 名患者是否患有某种疾病。他们的结果是:
- 评分者 A:60 名患者被确诊患有疾病,40 名患者未患疾病。
- 评分者 B:55 名患者被确诊患有疾病,45 名患者未患疾病。
在 100 名患者中,两位评估者对 80 名患者的意见一致(45 名患者患病,35 名患者不患病)。
步骤 1:计算观察到的一致性 (Po)
Po = 一致性数/总观测值
P = 80 / 100 = 0.80
第 2 步:计算预期一致性 (Pe)
每个类别中每个评估者的比例:
- PA(有疾病) = 60/100 = 0.60, PA(无疾病) = 40/100 = 0.40
- PB(有病) = 55/100 = 0.55, PB(无疾病) = 45/100 = 0.45
Pe = (0.60 × 0.55) + (0.40 × 0.45) = 0.33 + 0.18 = 0.51
步骤 3:计算 Kappa
Kappa = (Po - Pe) / (1 - Pe)
Kappa = (0.80 - 0.51) / (1 - 0.51) = 0.29 / 0.49 ≈ 0.59
该 kappa 值表明评估者之间的一致性程度中等。
最常见的常见问题解答
kappa 值在 0.60 至 0.80 之间表示一致性较高,高于 0.80 则表示一致性几乎为零。低于 0.20 则表示一致性较差。
Cohen 的 Kappa 考虑了偶然发生一致的可能性,因此它比简单的百分比一致性更为可靠。
不,Cohen 的 Kappa 是为两名评估者设计的。对于两名以上的评估者,可以使用其他指标,例如 Fleiss 的 Kappa。