检验项目的临床效能评价-课件.ppt

1、 检验项目的临床效能评价检验项目的临床效能评价P P7-767-762教学目标与要求教学目标与要求v掌握：掌握：1.1.临床应用评价中的临床应用评价中的“金标准金标准”，2.2.检验项目临床效能评价的意义及原则，检验项目临床效能评价的意义及原则，3.3.检验项目的临床应用评价指标及其特点。检验项目的临床应用评价指标及其特点。v熟悉：熟悉：检验项目临床效能评价的研究设计方法。检验项目临床效能评价的研究设计方法。v了解：了解：提高检验项目效率的方法。提高检验项目效率的方法。P P67-7667-76第三章第三章 方法学选择与评价方法学选择与评价知识回顾知识回顾临床实验室方法的选择与评价，直接影响检

2、验结果临床实验室方法的选择与评价，直接影响检验结果的质量。的质量。实验方法分为决定性方法、参考方法和常规方法。实验方法分为决定性方法、参考方法和常规方法。参考物质分为一级参考物、二级参考物、校准物和参考物质分为一级参考物、二级参考物、校准物和质控物。质控物。常规方法应有完整的分析体系（仪器、试剂、校准常规方法应有完整的分析体系（仪器、试剂、校准物）。物）。其校准物的值能通过一条不间断的链，溯源到国际其校准物的值能通过一条不间断的链，溯源到国际或国家标准规定的量值上。或国家标准规定的量值上。方法学评价或验证实际上是对误差的评估，即系方法学评价或验证实际上是对误差的评估，即系统误差和随机误差。统误

3、差和随机误差。测量不确定度表明赋予被测量之值的分散性。测量不确定度表明赋予被测量之值的分散性。误差则是表明测量结果偏离真值的差值。误差则是表明测量结果偏离真值的差值。临床实验室选择方法时考虑方法的准确度、精密临床实验室选择方法时考虑方法的准确度、精密度、线性范围、干扰因素、分析测量范围和参考度、线性范围、干扰因素、分析测量范围和参考区间等。区间等。一、准确度的评价一、准确度的评价二、精密度的评价二、精密度的评价三、检测限的评价三、检测限的评价四、可报告范围四、可报告范围五、参考区间验证五、参考区间验证P55第一节第一节 检验项目临床效能评价内容和意义检验项目临床效能评价内容和意义第二节第二节

4、研究设计研究设计第三节第三节 评价方法评价方法第四节第四节 提高检验项目效率的方法提高检验项目效率的方法P P6767补充补充仪仪 器器配配 套套 试试 剂剂操作程序操作程序质量控制质量控制保养计划保养计划手工操作中手工操作中具体操作人员具体操作人员真空标本采集管真空标本采集管配套离心机配套离心机校准品校准品检测系统检测系统第一节第一节 检验项目临床效能评价内容和意义检验项目临床效能评价内容和意义新引进的检验项目在临床应用时需进行评价：新引进的检验项目在临床应用时需进行评价：方法学的评价：方法学的评价：技术性能技术性能-保证检测方法准保证检测方法准确可靠；（检测系统的评价）确可靠；（检测系统的

5、评价）临床应用价值进行评价临床应用价值进行评价：评价结果对疾病的诊评价结果对疾病的诊疗要具有非常重要的意义（疗要具有非常重要的意义（针对真实性、针对真实性、可靠性和适用性进行评价）。可靠性和适用性进行评价）。P P6767P P6868AFPAFP对肝癌诊断治疗中的作用对肝癌诊断治疗中的作用P P6868P P6868P P6868P P68682 2研究对象的选择恰当研究对象的选择恰当（1 1）首先是病例组，必须是经标准诊断法明）首先是病例组，必须是经标准诊断法明确诊断的，且应包括各型病例如：确诊断的，且应包括各型病例如：早期、中期、晚期病例，治疗前、治早期、中期、晚期病例，治疗前、治疗后的

6、病例，典型及不典型病例等。疗后的病例，典型及不典型病例等。举例：举例：CA125CA125卵巢癌，胰腺癌卵巢癌，胰腺癌 如选择偏倚，必然产生不正确的结论，如选择偏倚，必然产生不正确的结论，如肿瘤标志物的检测，仅选用住院晚期患如肿瘤标志物的检测，仅选用住院晚期患者，诊断敏感度必定估计偏高。者，诊断敏感度必定估计偏高。P P6868P P68683 3参考区间的确定恰当参考区间的确定恰当 参考区间如是作者自己确定的，则要考察参考区间如是作者自己确定的，则要考察其正常人群的选择、样本数量的确定、测其正常人群的选择、样本数量的确定、测定方法的可靠性、数据处理等方面是否正定方法的可靠性、数据处理等方面是

7、否正确；确；如是应用文献资料，则应考虑是否适合本如是应用文献资料，则应考虑是否适合本地区，有无进行验证。地区，有无进行验证。P P68684 4验证验证-对原评价进行验证的问题对原评价进行验证的问题 某试验应用于另一组病例具有相同真某试验应用于另一组病例具有相同真实性，实性，实际上就是考察其复现性。实际上就是考察其复现性。P P6868有敏感度、特异度或阳性似然比的计算有敏感度、特异度或阳性似然比的计算 注意：统计学上判断不能代替临床应用注意：统计学上判断不能代替临床应用意义评价。意义评价。P P68682 2分层似然比的计算分层似然比的计算 做做ROCROC曲线时，必定要做分层统计，计算不同

8、曲线时，必定要做分层统计，计算不同连续分组数据的灵敏度及特异度。连续分组数据的灵敏度及特异度。（参阅（参阅P P7373）P P6969适用性评价：适用性评价：仪器设备、试剂的费用多少、来仪器设备、试剂的费用多少、来源、操作难度及效率、效益、效能、不良反源、操作难度及效率、效益、效能、不良反应、对患者的危险性、患者的依从性等。应、对患者的危险性、患者的依从性等。首先评价：首先评价：该项目是否有利于疾病的诊断、该项目是否有利于疾病的诊断、治疗和预防策略，得到最佳健康服务结果。治疗和预防策略，得到最佳健康服务结果。其次考虑经济效益：其次考虑经济效益：若某检验项目虽然技术若某检验项目虽然技术和诊断性

9、能好，具有好的临床效能，但所需和诊断性能好，具有好的临床效能，但所需费用昂贵，也降低了其实用性。费用昂贵，也降低了其实用性。P P6969的项目。一、确定研究目标，并清楚地阐明研究目标一、确定研究目标，并清楚地阐明研究目标P P69691.1.研究的样本总体研究的样本总体 要考虑患者的分布特征，如：人口统要考虑患者的分布特征，如：人口统计学、症状体征、合并症以及疾病的阶段、计学、症状体征、合并症以及疾病的阶段、程度、部位等，也应包含不同临床机构或程度、部位等，也应包含不同临床机构或地理位置的患者。地理位置的患者。P P6969P P69692.2.抽样计划抽样计划 用于评价的受试对象用于评价的

10、受试对象包括两组：包括两组：必须真实代表样本总体。抽样时需要考虑不同的研究阶段抽样时需要考虑不同的研究阶段P P6969金标准金标准(gold standard)(gold standard)是指被公认的诊是指被公认的诊断疾病的最可靠的方法，断疾病的最可靠的方法，如病理诊断常常如病理诊断常常被作为肿瘤诊断的金标准。被作为肿瘤诊断的金标准。金标准能正确地区分受试者患病与否，金标准能正确地区分受试者患病与否，若若金标准选择不妥，可能会造成错误分类，金标准选择不妥，可能会造成错误分类，影响对该临床检验项目的正确评价。影响对该临床检验项目的正确评价。P P6969评价指标评价指标P P7070 每个检

11、验项目的敏感度及特异度均是稳定每个检验项目的敏感度及特异度均是稳定的指标。的指标。按照估计总体率样本含量估算方法，计算按照估计总体率样本含量估算方法，计算病例组样本含量病例组样本含量n1n1，对照组样本含量，对照组样本含量n2,n2,为容许误差。为容许误差。P P7070P P7070P P7070检验项目临床效能评价指标：检验项目临床效能评价指标：灵敏度灵敏度 特异度特异度 预测值预测值(含阳性预测值及阴性预测值含阳性预测值及阴性预测值)诊断指数诊断指数 诊断效率诊断效率(含阳性似然比及阴性似然比含阳性似然比及阴性似然比)P P7070P70一、敏感度和特异度一、敏感度和特异度1 1四格表的

12、应用四格表的应用诊断性试验诊断性试验灵敏度(sensitivity，SEN)=a(a+c)阴性似然比=(1敏感度)特异度2 2诊断性试验评价指标的计算诊断性试验评价指标的计算P P7070灵敏度灵敏度(SEN)=(SEN)=真阳性真阳性(真阳性真阳性+假阴性假阴性)100%100%P P7171（1 1）灵敏度（）灵敏度（sensitivitysensitivity）又称真阳性率）又称真阳性率(true positive rate(true positive rate，TPR)TPR)诊断性试验的灵敏度诊断性试验的灵敏度特异度特异度(SPE)=(SPE)=真阴性真阴性(真阴性真阴性+假阳性假阳

13、性)100%100%P P7171（2 2）特异度（）特异度（specificityspecificity），又称真阴性），又称真阴性率率(true negative rate(true negative rate，TNR)TNR)P P7171病例组病例组 诊断界点诊断界点 对照组对照组 漏诊率漏诊率()误诊率误诊率()特异度特异度 （1-）灵敏度灵敏度 （1-）灵敏度与特异度的关系灵敏度与特异度的关系 P71对照组对照组 漏诊率漏诊率()诊断界点诊断界点 病例组病例组 误诊率误诊率()特异度特异度(1-(1-)灵敏度灵敏度(1-(1-)测定值测定值 D D 正常人正常人 患者患者 频频数数

14、 D D FN FN FP FP 测定值测定值 正常人正常人 患者患者 频频数数 TN TN TP TP 3 3诊断分界点诊断分界点理想模式：取中间一点理想模式：取中间一点(D(D点点)分界值假阳性和假阴性分界值假阳性和假阴性均为均为O O（没有重叠）。（没有重叠）。现实：许多检验项目健康人与患者结果分布有交叉。现实：许多检验项目健康人与患者结果分布有交叉。理想的检验项目健康群体与患者群体分布理想的检验项目健康群体与患者群体分布实际的检验项目健康群体与患者群体分布实际的检验项目健康群体与患者群体分布P P7171正常人正常人 正常人正常人 患者患者 患者患者 P P7171P P7272是综合

15、评价真实性的指标，理想的试验应为是综合评价真实性的指标，理想的试验应为l l。P P72721 1似然比似然比(likelihood ratio,LR)(likelihood ratio,LR)P P7272阴性似然比阴性似然比=假阴性率假阴性率/真阴性率真阴性率 =（1-1-灵敏度）灵敏度）/特异度特异度 P P7272P P7272阴性预测值：阴性预测值：是指真阴性人数占试验结果是指真阴性人数占试验结果阴性人数的百分比。阴性人数的百分比。表示试验结果阴性者属于非病例的概率。表示试验结果阴性者属于非病例的概率。P P7272检验项目的灵敏度和特异度并不能完全检验项目的灵敏度和特异度并不能完全

16、决定检验的阳性预测值。决定检验的阳性预测值。与人群某病的患病率有关，与人群某病的患病率有关，患病率低则患病率低则相对抽样标本中的阳性预测值就低，相对抽样标本中的阳性预测值就低，只只有足够大的样本才可能与总体相近。有足够大的样本才可能与总体相近。P P7272ROCROC是受试者工作特征曲线是受试者工作特征曲线(receiver(receiver operating characteristic curve,ROC)operating characteristic curve,ROC)又称相对工作特性曲线又称相对工作特性曲线原来是雷达屏幕上通过飞行物的回响来判原来是雷达屏幕上通过飞行物的回响来判

17、断飞行物的一种方法。断飞行物的一种方法。做临界值的判断及不同试验临床价值的比做临界值的判断及不同试验临床价值的比较。较。P P7373P P7373ROCROC曲线图曲线图P74ROCROC比较示意图比较示意图 P P7474(3)对检验结果的评价：灵敏度和特异度随着诊断分界点的升高或降低而变化。ROCROC曲线的临床应用曲线的临床应用P P7373MetaMeta分析的目的是对多个同类独立研究的结分析的目的是对多个同类独立研究的结果进行汇总和合并分析，以达到增大样本含果进行汇总和合并分析，以达到增大样本含量，提高检验效能的目的量，提高检验效能的目的当多个研究结果不一致或都无统计学意义时，当多

18、个研究结果不一致或都无统计学意义时，用用MetaMeta分析可得到更加接近真实情况的统计分析可得到更加接近真实情况的统计分析结果分析结果P P74741.1.特异度、灵敏度，两个最重要的指标。特异度、灵敏度，两个最重要的指标。其他评价指标都可用它们来推导。其他评价指标都可用它们来推导。缺少这两个指标，该检验项目无法进行缺少这两个指标，该检验项目无法进行评价。评价。在撰写和评价论文，在引进或评价一项在撰写和评价论文，在引进或评价一项新检验项目，这两个指标必须具备可供分新检验项目，这两个指标必须具备可供分析的资料。析的资料。P P74742.2.阳性及阴性预测值阳性及阴性预测值是指导临床诊断时比灵

19、是指导临床诊断时比灵敏度、特异度更直观、更容易理解的指标，敏度、特异度更直观、更容易理解的指标，应用广泛。应用广泛。当患者的检验结果为阳性时，必须参考该当患者的检验结果为阳性时，必须参考该检验项目的阳性预测值，结果为阴性时必检验项目的阳性预测值，结果为阴性时必须参考其阴性预测值。须参考其阴性预测值。在实验设计中，疾病组与对照组的样本组在实验设计中，疾病组与对照组的样本组成有所变化时，可以影响到预测值的大小，成有所变化时，可以影响到预测值的大小，造成误解。造成误解。P P74743.3.准确性、尤登指数及诊断效率是综合灵敏度、准确性、尤登指数及诊断效率是综合灵敏度、特异度计算出来的。特异度计算出

20、来的。原认为是很好的评价指标，原认为是很好的评价指标，实际上是很有限。实际上是很有限。举例：举例：如甲、乙两个试验灵敏度分别为如甲、乙两个试验灵敏度分别为8080、9595，而特异度分别为，而特异度分别为9595、8080，上述指标，上述指标结果是相同或相近的结果是相同或相近的 尤登指数尤登指数=(0.8+0.95)-=(0.8+0.95)-1=0.751=0.75，但这两个试验临床应用价值是不同，但这两个试验临床应用价值是不同的，的，甲试验可能在确诊时更有价值，乙试验甲试验可能在确诊时更有价值，乙试验用于筛查更好。用于筛查更好。P P74744.4.似然比表达的是在某一检验项目的某个数似然比

21、表达的是在某一检验项目的某个数值范围内患有或不患有某种疾病的概率。值范围内患有或不患有某种疾病的概率。似然比是将灵敏度及特异度较好结合起来的似然比是将灵敏度及特异度较好结合起来的指标。指标。阳性似然比数值越大，当试验结果阳性时，阳性似然比数值越大，当试验结果阳性时，诊断某病可能性越大。诊断某病可能性越大。阴性似然比数值越小，当试验正常时（阴阴性似然比数值越小，当试验正常时（阴性），患某病可能性越小。性），患某病可能性越小。P P74745.ROC5.ROC分析方法分析方法目前公认的评价准确度的标准方法。目前公认的评价准确度的标准方法。在循证医学、临床试验、临床检验、统在循证医学、临床试验、临床

22、检验、统计模型好坏的判别等方面具有十分重要计模型好坏的判别等方面具有十分重要的应用价值。的应用价值。P P7474P P7575检验项目的灵敏度与特异度是相对固定的；检验项目的灵敏度与特异度是相对固定的；人群患病率水平对一项检验项目阳性预测值人群患病率水平对一项检验项目阳性预测值的影响却很大；的影响却很大；如果将一项检验项目用于患病率低的人群，如果将一项检验项目用于患病率低的人群，则阳性预测值较低；则阳性预测值较低；若将其用于高危人群，则可明显提高阳性预若将其用于高危人群，则可明显提高阳性预测值。测值。一、选择患病率高的人群一、选择患病率高的人群P P7575P P7575P P7575P P

23、7575P P7676对检验项目临床应用价值评价，对其真实性、可靠性对检验项目临床应用价值评价，对其真实性、可靠性和实用性进行科学的客观的评价。和实用性进行科学的客观的评价。评价指标主要是灵敏度、特异性、预测值、似然比、评价指标主要是灵敏度、特异性、预测值、似然比、ROCROC曲线等。曲线等。临床效能评价首先要确定研究目标，有抽样计划，必临床效能评价首先要确定研究目标，有抽样计划，必须严格选择金标准诊断方法，了解预测值与患病率的须严格选择金标准诊断方法，了解预测值与患病率的相互关系。相互关系。诊断分界点是平衡灵敏度和特异性的砝码，采用诊断分界点是平衡灵敏度和特异性的砝码，采用ROCROC曲线找

24、到合适的诊断分界点和最大的诊断效能。曲线找到合适的诊断分界点和最大的诊断效能。通过联合试验来提高诊断效率。通过联合试验来提高诊断效率。1.1.周新，府伟灵周新，府伟灵.临床生物化学与检验指导（第临床生物化学与检验指导（第4 4版）版）.北京：人民卫生出版社，北京：人民卫生出版社，2008.2008.2.2.钱士匀钱士匀.临床生物化学与检验指导（第临床生物化学与检验指导（第4 4版）版）.北京：人民卫生出版社，北京：人民卫生出版社，2011.2011.3.3.垄道元，赵建宏临床实验室管理学垄道元，赵建宏临床实验室管理学MM武武汉：华中科技大学出版社，汉：华中科技大学出版社，201420144.4.http:/