诊断实验的研究与评价课件.ppt

1、1第1页，共48页。第2页，共48页。应用一定的诊断方法把病人与可疑有病但实际无病的人区别开来。3第3页，共48页。是否选用了适宜的金标准作比较？是否选用了适宜的金标准作比较？选择的研究对象是否合理？样本量是选择的研究对象是否合理？样本量是否足够？是否使用了盲法收集试验结否足够？是否使用了盲法收集试验结果？同时应评价诊断试验的果？同时应评价诊断试验的真实性真实性、可靠性可靠性和和收益收益。第4页，共48页。金金 标标 准准待评价方法待评价方法同步盲法比较同步盲法比较第5页，共48页。1 1、确定金标准、确定金标准金标准金标准(gold standardgold standard)当前公认当前公

2、认最好的、准确可靠的诊断方法（病理最好的、准确可靠的诊断方法（病理学检查、手术探查、特殊影像学检查学检查、手术探查、特殊影像学检查等），或专家制定并得到公认的临床等），或专家制定并得到公认的临床诊断标准。诊断标准。第6页，共48页。3 3、样本量的估计、样本量的估计第7页，共48页。4、盲法判定和比较试验结果、盲法判定和比较试验结果 要求判断试验结果者预先不知道病例被要求判断试验结果者预先不知道病例被金标准划分为金标准划分为“有病有病”或或“无病无病”的情况，的情况，可减少人为的主观偏差，保证比较结果的真可减少人为的主观偏差，保证比较结果的真实性。实性。5、评价指标的统计分析和结果报、评价指标

3、的统计分析和结果报告告 全面分析、评价和报告诊断试验的真全面分析、评价和报告诊断试验的真实性、可靠性和收益。实性、可靠性和收益。第8页，共48页。第9页，共48页。1 1统计学方法统计学方法 1 1）百分位数法：）百分位数法：适用于偏态分布、分布类型不确定或有极端数适用于偏态分布、分布类型不确定或有极端数值的数据。值的数据。2 2）正态分布法：）正态分布法：适用于呈正态分布的数据，通常用平均值加减适用于呈正态分布的数据，通常用平均值加减2 2倍倍标准差作为标准值。标准差作为标准值。2 2临床判断法临床判断法第10页，共48页。3ROC曲线法曲线法 ROCROC曲线或称为受试者工作特征曲线，是用

4、曲线或称为受试者工作特征曲线，是用构图法揭示灵敏度和特异度的相互关系，它构图法揭示灵敏度和特异度的相互关系，它通过将连续变量设定出多个不同的临界值，通过将连续变量设定出多个不同的临界值，从而计算出一系列灵敏度和特异度，再以灵从而计算出一系列灵敏度和特异度，再以灵敏度为纵坐标、（敏度为纵坐标、（1-1-特异度）为横坐标绘制特异度）为横坐标绘制成曲线，图中对角线下的面积为随机诊断产成曲线，图中对角线下的面积为随机诊断产生的曲线下面积。生的曲线下面积。ROCROC曲线越向左上偏，曲线下曲线越向左上偏，曲线下面积越大，诊断准确性越高。面积越大，诊断准确性越高。第11页，共48页。第12页，共48页。表

5、表16：B/E不同取值的灵敏度、特异度、约登指数不同取值的灵敏度、特异度、约登指数*：当：当B/E值为值为1.010时，灵敏度为时，灵敏度为0.932，特异度为，特异度为0.925，约登指数为，约登指数为0.857（最大）（最大）B/EB/E值值灵敏度灵敏度1-1-特异度特异度特异度特异度约登指数约登指数0.97 0.000 0.825 0.175 0.1750.99 1.000 0.500 0.500 0.5001.00 0.986 0.300 0.700 0.6861.00 0.932 0.175 0.825 0.7571.01 0.932 0.075 0.925 0.857*1.01 0

6、.905 0.050 0.950 0.8551.02 0.770 0.000 1.000 0.7701.03 0.608 0.000 1.000 0.6081.08 0.176 0.000 1.000 0.176第13页，共48页。ROC Curve图2-ROC曲线图1-Specificity1.00.75.50.250.00Sensitivity1.00.75.50.250.00第14页，共48页。用某些指标对诊断试验的真实性、用某些指标对诊断试验的真实性、可靠性以及效益进行评价。可靠性以及效益进行评价。第15页，共48页。阴性阴性 假阴性假阴性 C C 真阴性真阴性 D C+DD C+D

7、试验试验结果结果 病人病人 非病人非病人 合计合计 表表1 1 应用诊断试验检查某病患者和非患者的结果模式表应用诊断试验检查某病患者和非患者的结果模式表 阳性阳性 真阳性真阳性 A A 假阳性假阳性 B B A+BA+B合合 计计 A+C B+D A+B+C+D=NA+C B+D A+B+C+D=N 一、真实性的评价一、真实性的评价 又称为效度，指一项诊断或筛检试验所获得的数值又称为效度，指一项诊断或筛检试验所获得的数值与实际值的符合程度。与实际值的符合程度。评价真实性的指标有评价真实性的指标有灵敏度、特异度、漏诊率、误诊灵敏度、特异度、漏诊率、误诊率率和和正确诊断指数正确诊断指数第16页，共

8、48页。A AA+CA+CnSenSenSEsen)1()(第17页，共48页。2 2、特异度、特异度 是指一项诊断或筛检方法将实际无病的人正确是指一项诊断或筛检方法将实际无病的人正确地判断为非患者的能力。地判断为非患者的能力。特异度特异度=100%100%或或 特异度特异度=1=1假阳性率假阳性率 特异度的标准误计算公式为特异度的标准误计算公式为D DB+DnSpeSpeSEspe)1()(第18页，共48页。漏诊率：漏诊率：指一项诊断试验将实际有病的人错误诊断为非病指一项诊断试验将实际有病的人错误诊断为非病人的比例。也称假阴性率。人的比例。也称假阴性率。漏诊率漏诊率=1-=1-灵敏度，灵敏

9、度，或或误诊率：误诊率：指一项诊断试验将实际无病的人错误诊断为病人的比指一项诊断试验将实际无病的人错误诊断为病人的比率。误诊率也称假阳性率。率。误诊率也称假阳性率。误诊率误诊率=1-=1-特异度特异度 或或%100CAC漏诊率%100DBB误诊率第19页，共48页。AA+CDB+D21)()1()1(NSpeSpeNSenSenSEr第20页，共48页。一项诊断试验正确诊断的病人数与非病人数之和占所有进一项诊断试验正确诊断的病人数与非病人数之和占所有进行诊断人数的比率。符合率越高，可靠性越好行诊断人数的比率。符合率越高，可靠性越好%100dcbada粗一致率dbddcdcaabaa41调整一致

10、率dbddcdcaabaa41调整一致率第21页，共48页。综合了灵敏度和特异度的信息，其含义为：病人中出综合了灵敏度和特异度的信息，其含义为：病人中出现某种检测结果的概率与非病人中出现相应结果的概率之现某种检测结果的概率与非病人中出现相应结果的概率之比，它表明某项试验所确定的阳性界值（截点）能否良好比，它表明某项试验所确定的阳性界值（截点）能否良好地区分真阳性和假阳性。根据似然比可以判断诊断试验阳地区分真阳性和假阳性。根据似然比可以判断诊断试验阳性或阴性时患病的概率，以助临床医生的诊断决策。性或阴性时患病的概率，以助临床医生的诊断决策。第22页，共48页。真阳性率与假阳性率之比，说明正确判断

11、阳性的可能真阳性率与假阳性率之比，说明正确判断阳性的可能性是错判阳性可能性的倍数。性是错判阳性可能性的倍数。比值越大，试验结果阳性时为真阳性的概率越比值越大，试验结果阳性时为真阳性的概率越大，此诊断方法愈好。大，此诊断方法愈好。+LR LR=灵敏度灵敏度/(1-/(1-特异度特异度)=)=灵敏度灵敏度/误诊率误诊率 或或 ）（）（阳性似然比DBBCAA/）（）（阳性似然比DBBCAA/第23页，共48页。是假阴性率与真阴性率之比，表示错判阴性的可是假阴性率与真阴性率之比，表示错判阴性的可能性是正确判断阴性的可能性的倍数，此值越小，试能性是正确判断阴性的可能性的倍数，此值越小，试验结果为真阴性的

12、可能性越大，该诊断方法愈好验结果为真阴性的可能性越大，该诊断方法愈好 -LR LR=(1-=(1-灵敏度灵敏度)/)/特异度特异度=漏诊率漏诊率/特异度特异度 即即）（）（阴性似然比DBDCAC/第24页，共48页。验前概率：验前概率：检查前病人患某种疾病的可能性检查前病人患某种疾病的可能性 。验验 前前 比：比：检查前病人患某种疾病的机率。检查前病人患某种疾病的机率。验验 后后 比：比：检查后病人患某种疾病的机率。检查后病人患某种疾病的机率。验后概率：验后概率：检查后病人患某种疾病的可能性。检查后病人患某种疾病的可能性。将验前概率转换为验前比将验前概率转换为验前比 验前比验前比=验前概率验前

13、概率/(1/(1验前概率验前概率)通过诊断试验的似然比计算验后比通过诊断试验的似然比计算验后比 验后比验后比=验前比验前比似然比似然比(LR)(LR)将验后比转换为验后概率：将验后比转换为验后概率：验后概率验后概率=验后比验后比/(/(验后比验后比+1)+1)第25页，共48页。例：某例：某1818岁女性因面色苍白、乏力，被怀疑为严重贫血至岁女性因面色苍白、乏力，被怀疑为严重贫血至某医院就诊，根据病史及外周血涂片检查，在该院该年龄某医院就诊，根据病史及外周血涂片检查，在该院该年龄段女性患缺铁性贫血的可能性为段女性患缺铁性贫血的可能性为40%40%。在实验室进一步做。在实验室进一步做血清铁蛋白检

14、查，结果为血清铁蛋白检查，结果为12mmol/L12mmol/L，该院血液学实验室以，该院血液学实验室以骨髓铁染色作金标准，用血清铁蛋白试验法诊断缺铁性贫骨髓铁染色作金标准，用血清铁蛋白试验法诊断缺铁性贫血的阈值为血的阈值为65mmol/L65mmol/L，65mmol/L65mmol/L为缺铁性贫血，该方法为缺铁性贫血，该方法灵敏度为灵敏度为90%90%，特异度为，特异度为85%85%。问该女患缺铁性贫血的概率。问该女患缺铁性贫血的概率是多少？是多少？解：验前概率解：验前概率 =0.40=0.40 验验 前前 比比 =0.40/=0.40/（1-0.401-0.40）=0.67=0.67 阳

15、性似然比阳性似然比 =Sne/(1-Spe)=0.9/(1-0.85)=6=Sne/(1-Spe)=0.9/(1-0.85)=6 验验 后后 比比 =0.67=0.676=4.026=4.02 验后概率验后概率 =4.02/=4.02/（1+4.021+4.02）=0.80 =0.80 该病员患缺铁性贫血的概率为该病员患缺铁性贫血的概率为80%80%。第26页，共48页。当了解许多症状、体征在某些病的似然比后，可以利用其进行多重试验检验。在进行诊断时，把前一次检验当了解许多症状、体征在某些病的似然比后，可以利用其进行多重试验检验。在进行诊断时，把前一次检验的验后概率作为下一次检验的验前概率，继

16、续运用，直到可下结论为止。举例如下。的验后概率作为下一次检验的验前概率，继续运用，直到可下结论为止。举例如下。一位一位4545岁妇女主诉突发左侧胸痛月余，来门诊就医。该患者是否患冠心病？岁妇女主诉突发左侧胸痛月余，来门诊就医。该患者是否患冠心病？查胸痛原因很多，如肺或胸膜疾患；上消化道疾病；冠心病；情绪影响；其他原因。仅只按其主诉，她患查胸痛原因很多，如肺或胸膜疾患；上消化道疾病；冠心病；情绪影响；其他原因。仅只按其主诉，她患冠心病的可能（验前概率）仅为冠心病的可能（验前概率）仅为0.010.01。验前比验前比=验前概率验前概率/（1-1-验前概率）验前概率）=0.01/=0.01/（1-0.

17、011-0.01）=0.01=0.01。1 1）进一步询问其疼痛特点，有放射至左臂内侧的特点。其阳性似然比为）进一步询问其疼痛特点，有放射至左臂内侧的特点。其阳性似然比为100100，其验后比其验后比=0.01=0.01100=1100=1。此时诊断冠心病的概率（验后概率）此时诊断冠心病的概率（验后概率）=验后比验后比/（1 1验后比）验后比）=1/=1/（1 11 1）=0.50=0.502 2）再做心电图检查，）再做心电图检查，STST段下降段下降2.2mm2.2mm，其阳性似然比为，其阳性似然比为1111，验前比验前比=0.5/=0.5/（1-0.51-0.5）=1=1。验后比。验后比=

18、1=111=1111=11。（。（0.50.5为前一项放射痛的验后概率）为前一项放射痛的验后概率）验后概率验后概率=11/=11/（1 11111）=11/12=0.9167=11/12=0.91673 3）再检验其血清肌酸磷酸酶（）再检验其血清肌酸磷酸酶（CPKCPK）8080单位，此时阳性似然比为单位，此时阳性似然比为7.757.75。其验前比其验前比=0.9167/=0.9167/（1-0.91671-0.9167）=11.0048=11.0048；验后比；验后比=11.0048=11.00487.75=85.257.75=85.25。验后概率验后概率=85.25/=85.25/（1 1

19、85.2585.25）=0.988=0.988经过询问症状，心电图检查及血清经过询问症状，心电图检查及血清CPKCPK检查，该病人患冠心病的可能性为检查，该病人患冠心病的可能性为98.898.8，因，因此可以明确诊断该病人患冠心病。此可以明确诊断该病人患冠心病。第27页，共48页。第28页，共48页。kappakappa值为实际一致率与非机遇一致率的比，值为实际一致率与非机遇一致率的比，该值考虑了机遇因素对一致性的影响，表示不该值考虑了机遇因素对一致性的影响，表示不同人判断同一批结果，或同一人不同时间判断同人判断同一批结果，或同一人不同时间判断同一批结果的一致性强度同一批结果的一致性强度 一般

20、认为一般认为KappaKappa值在值在0.40.40.750.75为中、高度一为中、高度一致，致，KappaKappa值值0.750.75为极好的一致性。为极好的一致性。K0.40K0.40时，表明一致性差。时，表明一致性差。第29页，共48页。%7878.010032460Ndap第30页，共48页。%5151.0100/)10042441005856(/)(2211NNcrNcrPc55.0%49%2710CPPPkappaC非机遇一致率实际一致率值)()()(221122211CRCRNCRCRDANKappa55.0)42445856(100)42445856()3246(1002K

21、appa第31页，共48页。l1 1）试验方法与条件的差异）试验方法与条件的差异 l2 2）观察者的变异）观察者的变异 l3 3）被观察者的变异）被观察者的变异 第32页，共48页。第33页，共48页。第34页，共48页。%100)(BAApv阳性结果预测值%100)(DCDpv阴性结果预测值第35页，共48页。195例例 运动后心电图与冠状动脉造影的比较运动后心电图与冠状动脉造影的比较 冠状动脉造影显示冠状动脉造影显示75%75%狭窄狭窄 运动后心运动后心电图异常电图异常+合计合计 +55+55(a)7 7 (b)62 4949(c)84 84(d)133 133 合计合计 104 91 1

22、95104 91 195第36页，共48页。第37页，共48页。表表3 3：在患病率低的病人组中运动后心电图与冠状动脉造影的比较：在患病率低的病人组中运动后心电图与冠状动脉造影的比较 运动后心运动后心 冠状动脉造影显示冠状动脉造影显示75%狭窄狭窄 电图异常电图异常 55(a)42(b)97 49(c)478(d)527 合合 计计 104 520 624合合 计计第38页，共48页。第39页，共48页。灵敏度和特异度不变时，该病患病率低则阳灵敏度和特异度不变时，该病患病率低则阳性预测值较低，阳性预测值随患病率的增加而性预测值较低，阳性预测值随患病率的增加而上升，故一般认为在患病率较高的人群中

23、开展上升，故一般认为在患病率较高的人群中开展筛检的意义较大，将会有较高的收益筛检的意义较大，将会有较高的收益患病率）（特异度）（患病率灵敏度患病率灵敏度阳性预测值11患病率灵敏度）（患病率）（特异度患病率）（特异度阴性预测值111第40页，共48页。灵敏度和特异度均为灵敏度和特异度均为99%99%的试验在不同患病率人群中的阳性预测值的试验在不同患病率人群中的阳性预测值感染感染 受检受检 实际感实际感 实际未实际未 试验阳试验阳 试验假试验假 总阳性总阳性 阳性预阳性预率率 人数人数 染人数染人数 感染人数感染人数 性人数性人数 阳性人数阳性人数 人数人数 测值测值(%)(%)1/1/万万 10

24、0000 10 99990 10 1000 1010 0.99 100000 10 99990 10 1000 1010 0.99 1 1 100000 100 99900 99 999 1098 9.02 100000 100 99900 99 999 1098 9.021%100000 1000 99000 990 990 1980 50.00 1%100000 1000 99000 990 990 1980 50.00 10%100000 10000 90000 9900 900 10800 91.6710%100000 10000 90000 9900 900 10800 91.67第

25、41页，共48页。第42页，共48页。第43页，共48页。第44页，共48页。第45页，共48页。第46页，共48页。33+11719910+7599764114+11719911+7599764114+33+1171997599764111719910+11+75997641第47页，共48页。一、与金标准进行同步盲法比较一、与金标准进行同步盲法比较 二、观察对象的代表性二、观察对象的代表性 三、样本量的大小三、样本量的大小 四、诊断试验的重复性四、诊断试验的重复性 五、观察指标的判断标准的合理性五、观察指标的判断标准的合理性 六、诊断试验的真实性六、诊断试验的真实性 七、联合试验的评价七、联合试验的评价 八、诊断试验的具体步骤八、诊断试验的具体步骤 九、诊断试验的实用性九、诊断试验的实用性第48页，共48页。