一致性检验kappa.ppt

第22章 一致性检验kappa,学习目标,熟悉Kappa值的判断标准； 掌握Kappa值的计算以及检验方法； 掌握二分类资料和有序分类资料的一致性分析；,Kappa检验,在诊断试验中，研究者希望考察不同的诊断方法在诊断结果上是否具有一致性。诊断试验的一致性检验经常用于下列两种情况：一种是评价新的诊断试验方法与金标准的一致性；另一种是评价两种诊断试验方法对同一个样本或研究对象的化验结果的一致性、两个医务工作者对同一组病人的诊断结论的一致性、同一医务工作者对同一组病人前后进行两次观察作出诊断的一致性等。1960年Cohen等提出用Kappa值作为评价判断的一致性程度的指标。实践证明，它是一个描述诊断的一致性较为理想的指标，因此在临床试验中得到广泛的应用。,Kappa检验,Kappa是评价一致性的测量值。检验是否沿对角线格子中的计数（接收比率一样的零件）与那些仅是偶然的期望不同。设Po =对角线单元中观测值的总和，Pe=对角线单元中期望值的总和。则Kappa =（Po - Pe）/（1 - Pe）。Kappa是测量而不是检验。其大小用一个渐进和标准误差构成的t统计量决定。一个通用的经验法则是Kappa大于0.75表示好的一致性（Kappa最大为1）；小于0.4表示一致性差。Kappa不考虑评价人间的意见不一致性的程度，只考虑他们一致与否。,Kappa检验,对于用Kappa值判断一致性的建议参考标准为： Kappa =+1，说明两次判断的结果完全一致； Kappa =-1，说明两次判断的结果完全不一致； Kappa =0，说明两次判断的结果是机遇造成； Kappa0，此时说明有意义，Kappa愈大，说明一致性愈好； Kappa0.75，说明已经取得相当满意的一致程度； Kappa0.4，说明一致程度不够理想；,二分类资料一致性分析,前面我们已经介绍四格表资料的2检验，本节需要介绍的是Kappa检验。那么Kappa检验与配对2检验有什么区别呢？Kappa检验重在检验两者的一致性，配对2检验重在检验两者间的差异。对同一样本数据，这两种检验可能给出矛盾的结论。主要原因是两者对所提供的有统计学意义的结论要求非常严格所致。,KAPPA值的计算及检验,对两法测定结果一致部分进行检验，看一致部分是否是由偶然因素影响的结果，它叫做“一致性检验”，也称Kappa检验。说明两种方法测定结果的实际一致率与随机一致率之间的差别是否具有显著性意义。需要计算反映两法一致性程度高低的系数，叫做Kappa统计量。具体公式如下： P0为实际一致率，Pe为理论一致率。,KAPPA值的计算及检验,Kappa是一个统计量，也有抽样误差，其渐进标准误（ASE）。由于uKappa/ASE近似服从标准正态分布，故可借助正态分布理论。H0：Kappa0，H1：Kappa0。如果拒绝H0认为两种方法具有较高的一致性。,KAPPA值的计算及检验,在诊断试验的研究中，数据资料多为双向有序的列联表资料，即两个变量都是有序变量，而且属性相同。属性相同分为三种情况，一种情况是属性、分级水平数和分级水平都完全相同。如甲医生和乙医生都把病人的检查结果分为1、2、3、4四个等级。此时可直接作Kappa检验。当这两个变量都只有2个水平时，就成为配对设计的四格表资料，可使用配对2检验，即McNemar检验。,KAPPA值的计算及检验,第二种是属性相同的分级水平数相同，但分级水平不全相同。如甲医生和乙医生都把病人的检查结果分为四个等级，但甲医生的分级为1、2、3、4，而乙医生的分级为2、3、4、5。在这种情况下，由于列联表的行数和列数仍然是一致的，即列联表仍为方表，所以也可计算出相应的Kappa统计量。第三种是属性相同，但分级水平数和分级水平不全相同。这种情况就是我们所说的列联表的行列数不一致。由于收集上来的数据不能轻易删除掉，所以我们考虑添加行或列使联表成为方表。如行数为n，例数为n-1，则我们只需要添加第n列，在第n行第n列的格点中添加权值0001，而第n行的其它格点均设为0，就可以命名其成为方表，并计算Kappa统计量了。由于权值系数很小，所以不会影响Kappa值的计算结果。,KAPPA值的计算及检验,另一方面，如果两个变量中有一个变量是金标准，那么我们不但能分析出检验结果的一致性，还可以计算出敏感度、特异度、误诊率和漏诊率等指标。如果有不同的诊断分界点，还可以绘制出ROC曲线。 诊断试验的评价在医学研究中具有十分重要的意义，目前大多数文献都使用Kappa统计量来检验结果的一致性。所以本研究主要是对Kappa系数作一个探讨和分析。诊断试验评价的统计学方法还会随着更多问题的提出和解决而不断得到发展、修正和扩展。,有序分类资料一致性分析,R×C表可以分为双向无序、单向有序、双向有序属性相同和双向有序属性不同4类。 双向无序R×C表 R×C表中两个分类变量皆为无序分类变量，对于该类资料：若研究目的为多个样本率（或构成比）的比较，可用行×列表资料的2检验；若研究目的为分析两个分类变量之间有无关联性以及关系的密切程度时，可以用行×列表资料的2检验以及Pearson列联系数进行分析。,有序分类资料一致性分析,单向有序R×C表 有两种形式。一种是R×C表中的分组变量是有序的，而指标变量是无序的。此种单向有序R×C表资料可用行×列表资料的2检验进行分析。另一种情况是R×C表中的分组变量是无序的，而指标变量是有序的，此种单向有序R×C表资料宜用秩和检验进行分析。,有序分类资料一致性分析,双向有序属性不同的R×C表 R×C表中的两分类变量皆为有序且属性不相同。对于该类资料，需要分析两有序分类变量间是否存在线性变化趋势，宜用有序分组资料的线性趋势检验。 双向有序属性相同的R×C表中的两分类变量皆为有序且属性相同。实际上是2×2配对设计的扩展，此时宜用一致性检验（或称Kappa检验）。 所以，对于双向有序且属性相同的数据，我们可以采用Kappa检验判断其一致性。,本章小节,1960年Cohen等提出用Kappa值作为评价判断的一致性程度的指标。实践证明，它是一个描述诊断的一致性较为理想的指标，因此在临床试验中得到广泛的应用。Kappa是评价一致性的测量值。检验是否沿对角线格子中的计数（接收比率一样的零件）与那些仅是偶然的期望不同。设Po =对角线单元中观测值的总和，Pe=对角线单元中期望值的总和。则Kappa =（Po - Pe）/（1 - Pe）。Kappa是测量而不是检验。其大小用一个渐进和标准误差构成的t统计量决定。一个通用的经验法则是Kappa大于0.75表示好的一致性（Kappa最大为1）；小于0.4表示一致性差。,本章小节,对两法测定结果一致部分进行检验，看一致部分是否是由偶然因素影响的结果，它叫做“一致性检验”，也称Kappa检验。说明两种方法测定结果的实际一致率与随机一致率之间的差别是否具有显著性意义。,本章小节,SAS过程中也是用FREQ过程进行一致性检验，只需要在TABLES语句中添加agree选项即可输出Kappa值，但是要进行一致性检验，需要编写其它程序语句。双向有序属性相同的R×C表中的两分类变量皆为有序且属性相同。实际上是2×2配对设计的扩展，此时宜用一致性检验（或称Kappa检验）。,