《实用医学科研设计与统计分析》常见统计学错误课件.ppt

1、整理课件通知：课程调整通知：课程调整整理课件医学论文常见统计学错误与纠正医学论文常见统计学错误与纠正方积乾方积乾中山大学公共卫生学院中山大学公共卫生学院医学统计与流行病学系医学统计与流行病学系2015年年12月月设计与实施设计与实施分析与结果分析与结果整理课件1.对象合格标准不明确对象合格标准不明确w“Eligibility criteria”：年龄、性别、临床：年龄、性别、临床 诊断、病情诊断、病情w“Exclusion criteria”：常为保障病人安全：常为保障病人安全 目的：目的：w读者据此判断研究结果可以应用到什么范围读者据此判断研究结果可以应用到什么范围w统计学：明确总体统计学：

2、明确总体 总体：大同小异的个体集合总体：大同小异的个体集合 整理课件常见错误常见错误w 只报告来源和时间段，总体不清晰：大杂只报告来源和时间段，总体不清晰：大杂烩，得不到科学结论；烩，得不到科学结论；w 事前未规定合格标准和排除标准，事后排事前未规定合格标准和排除标准，事后排除；除；w 不报告按照合格标准和排除标准筛选对象不报告按照合格标准和排除标准筛选对象的过程。的过程。整理课件2.结局指标多而杂结局指标多而杂w“primary outcome measure”是事先规定的最是事先规定的最 重要的结局指标，通常以此为准来计算样本量。重要的结局指标，通常以此为准来计算样本量。w“seconda

3、ry outcome measure”可以几个，但可以几个，但 不宜太多不宜太多整理课件常见错误：终点指标过多常见错误：终点指标过多,大海捞针大海捞针w 临床试验时，不知道哪个指标在组与组间有临床试验时，不知道哪个指标在组与组间有差异；差异；“确定某个指标后，万一组间没有差确定某个指标后，万一组间没有差异，岂不被动异，岂不被动?！”w 生理、生化、组织学、基因，都做；生理、生化、组织学、基因，都做；“内容丰富，显得水平高内容丰富，显得水平高?！”w 许多仪器一下子可以做许多项目；许多仪器一下子可以做许多项目；“许多项目一一分析，哪个有意义，就报告许多项目一一分析，哪个有意义，就报告哪个指标哪个

4、指标?！”整理课件错在哪里？错在哪里？w 哪些指标可能有组间差异，必须心中有数。哪些指标可能有组间差异，必须心中有数。假说：预计将要得到的结论假说：预计将要得到的结论 假说是科研的灵魂假说是科研的灵魂 心中无数，不要心中无数，不要“先上马再说先上马再说”w 指标多，实验工作量大。指标多，实验工作量大。大海捞针大海捞针 碰运气，不是科研！碰运气，不是科研！w 指标多，翻来覆去分析，制造假阳性！指标多，翻来覆去分析，制造假阳性！Nature杂志统计学指南：常见错误之一。杂志统计学指南：常见错误之一。整理课件翻来覆去分析，会制造假阳性翻来覆去分析，会制造假阳性?!整理课件常见错误之一常见错误之一(N

5、ature)-多重比较不校正多重比较不校正w 多重比较多重比较:对一组数据作多项比较时，对一组数据作多项比较时，必须说明如何校正必须说明如何校正 水平，以避免增大水平，以避免增大 第一类错误的机会第一类错误的机会整理课件如何校正？如何校正？Bonfferoni 校正校正 当同一组数据同时作当同一组数据同时作k次分析时，次分析时，若若 限定犯假阳性错误的概率总共不超过限定犯假阳性错误的概率总共不超过 ，则则 每次分析要用每次分析要用 来控制假阳性的概率。来控制假阳性的概率。例例 k/005.0,10 ,05.0 kk 整理课件3.不重视对照不重视对照 为何必需对照？为何必需对照？w消除非研究因素

6、的混杂消除非研究因素的混杂 实验组和对照组受非研究因素的影响尽可能实验组和对照组受非研究因素的影响尽可能 相同，使两组的差异主要反映研究因素的效应。相同，使两组的差异主要反映研究因素的效应。w鉴别研究因素的效应和自然发展结果鉴别研究因素的效应和自然发展结果 例如，研究某药物对口腔溃疡模型兔的疗效，例如，研究某药物对口腔溃疡模型兔的疗效，口腔溃疡有自愈的倾向，必须有对照扣除自愈口腔溃疡有自愈的倾向，必须有对照扣除自愈 效应。效应。整理课件常见错误常见错误 1：没有对照！：没有对照！千方百计省去对照组，以减少一半工作量千方百计省去对照组，以减少一半工作量!?w 自身前后对照自身前后对照w 历史对照

7、历史对照w 文献对照文献对照w“标准标准”对照对照整理课件常见错误常见错误 2：对照不当：对照不当w 对照太弱：安慰剂对照对照太弱：安慰剂对照w 对照过强：西药对照过强：西药+加中药加中药 西药西药w 对照剂量有争议：对照剂量有争议：试验药，大剂量试验药，大剂量 对照药，中小剂量对照药，中小剂量 w 对照基线不可比：对照基线不可比：试验组年轻、病轻试验组年轻、病轻 对照组年老、病重对照组年老、病重整理课件应当如何？应当如何？w 事先明确研究假说，例如，事先明确研究假说，例如，新药新药 比比 常规药好常规药好：以常规药为对照以常规药为对照w 设计：设计：研究组新药研究组新药 对照组常规药对照组常

8、规药 可比性：基线可比、过程可比、终点可比可比性：基线可比、过程可比、终点可比w 保证可比性措施：保证可比性措施：干预性研究干预性研究:随机化随机化 观察性研究：匹配观察性研究：匹配 整理课件4.样本量无根据样本量无根据w 干预性研究：干预性研究：“500 例患者随机分成两组例患者随机分成两组”为什麽为什麽 500 例？不多不少？例？不多不少？500 例从天而降？现成送上门来？例从天而降？现成送上门来？w 观察性研究：观察性研究：“10年期间年期间A组组3000例，例，B组组258例例”-有多少用多少有多少用多少!?整理课件 应当如何？应当如何？-报告最小样本量估算及其依据报告最小样本量估算及

9、其依据 比较两组测定值的均数比较两组测定值的均数 依据：依据：整理课件例：格列美脲、例：格列美脲、格列苯脲对比研究格列苯脲对比研究 以以HbA1c 为主要终点为主要终点 报告依据报告依据1.欲检出欲检出HbA1c临床差异临床差异0.65%2.假定标准差为假定标准差为1.3%3.双侧检验水平双侧检验水平0.054.功效功效80%w 退出率退出率20%计算：计算：157例例整理课件 2.比较两组达标率比较两组达标率 依据：依据：（1）预计一组发生某结局的百分比为）预计一组发生某结局的百分比为（2）预计另一组发生某结局的百分比为）预计另一组发生某结局的百分比为（3）允许犯假阳性错误的机会）允许犯假阳

10、性错误的机会（4）允许犯假阴性错误的机会）允许犯假阴性错误的机会 1 2 应当如何？应当如何？-报告最小样本量估算及其依据报告最小样本量估算及其依据整理课件例：格列美脲、例：格列美脲、格列苯脲对比研究格列苯脲对比研究以以HbA1c达标为主要终点达标为主要终点整理课件5.随机化，说而不做，做而不严随机化，说而不做，做而不严 处理分配的随机化为什么这么重要处理分配的随机化为什么这么重要?(1)消除分配处理有意或无意的偏倚。消除分配处理有意或无意的偏倚。(2)为实施盲法创造条件。为实施盲法创造条件。(3)使得有可能利用概率论来说明：使得有可能利用概率论来说明：各干预组之间的差异不大可能是偶然性各干预

11、组之间的差异不大可能是偶然性 造成的。造成的。整理课件说错和做错说错和做错w 将随机化当作将随机化当作“廉价名词廉价名词”，实际没做，实际没做，却写却写:“随机分成两组随机分成两组”科研道德？科研道德？w 将将“随意分组随意分组”当作随机化当作随机化w 将将“机械分组机械分组”当作随机化当作随机化w 略去筛选过程，简单地报告将多少人随机分略去筛选过程，简单地报告将多少人随机分组组w 略去实施过程中丢失对象，将最后两组人数略去实施过程中丢失对象，将最后两组人数说成是随机分组人数说成是随机分组人数整理课件应当如何？应当如何？w 成功的随机化取决于：成功的随机化取决于：(1)产生一个不可预见的分配序

12、列产生一个不可预见的分配序列;(2)“隐蔽隐蔽”（allocation concealment）这个）这个序列，直到分配完毕序列，直到分配完毕(必须建立一个分配处必须建立一个分配处理的系统理的系统)。w 报告如何随机分组，如何报告如何随机分组，如何“隐蔽隐蔽”：谁做随机序列，谁收病人，谁分药和发药；谁做随机序列，谁收病人，谁分药和发药；分组方案如何保管分组方案如何保管整理课件随机化类型随机化类型w Simple randomisation(简单随机化简单随机化)w Blocked randomisation(区组随机化区组随机化)w Stratified randomisation(分层随机化

13、分层随机化)w Minimisation(不均衡最小化不均衡最小化)整理课件 盲法为什么这么重要盲法为什么这么重要?w 对病人对病人“盲盲”：防止：防止performance bias.w 对医护人员、评价人员对医护人员、评价人员“盲盲”：防止防止detection bias 或或 assessment bias.“不盲不盲”有利于非对照组。有利于非对照组。w 对数据分析者对数据分析者“盲盲”：防止为得阳性结果而选择并非事先计划防止为得阳性结果而选择并非事先计划 的分析方法。的分析方法。-必须报告；必须报告；“盲盲”？谁？谁“盲盲”？6.避而不谈盲法避而不谈盲法 整理课件常见错误常见错误w 如

14、何如何“盲盲”？轻描淡写轻描淡写w 为何没有为何没有“盲盲”？不加说明？不加说明w 普遍忽视盲法判定终点普遍忽视盲法判定终点 没有独立的终点判定委员会：没有独立的终点判定委员会：专人、专职；专人、专职；盲法措施盲法措施w 盲法实施效果如何？缺乏评价盲法实施效果如何？缺乏评价整理课件7.量表的滥用量表的滥用w 医学研究中，量表的应用日益广泛：医学研究中，量表的应用日益广泛：生存质量生存质量(quality of life,QOL)患者报告结局患者报告结局(patient report outcome,PRO)美国美国FDA规定药品说明书必须有规定药品说明书必须有PRO内容。内容。w 国外已经研制

15、了许多量表，可以借鉴；国外已经研制了许多量表，可以借鉴；有些课题国外还没有适宜的量表有些课题国外还没有适宜的量表,有待研制有待研制w 国内许多医学研究也开始采用量表测量临床国内许多医学研究也开始采用量表测量临床疗效。疗效。整理课件 常见错误常见错误1.“引进国外量表引进国外量表”w 未经作者同意，声称是未经作者同意，声称是“xx量表的中文版量表的中文版”w 妄称文化调试，随意修改妄称文化调试，随意修改w 未曾考察中文版量表的信度、效度和反应度未曾考察中文版量表的信度、效度和反应度2.“自制量表自制量表”w 未经查阅文献和专家咨询，匆忙起草未经查阅文献和专家咨询，匆忙起草w 没有概念框架和基于概

16、念框架的条目池没有概念框架和基于概念框架的条目池w 没有试用和现场调查，没有心理测量学评价没有试用和现场调查，没有心理测量学评价整理课件应当如何引进国外量表？应当如何引进国外量表？w 联系原作者，征得同意；联系原作者，征得同意；w 翻译翻译-逆翻译，文化调试，与原作者共同修逆翻译，文化调试，与原作者共同修改、定稿；改、定稿；w 收集现场数据，评价信度、效度和反应度收集现场数据，评价信度、效度和反应度整理课件应当如何研制新量表？应当如何研制新量表？w 查阅文献、专家咨询查阅文献、专家咨询w 确定概念框架，领域、方面确定概念框架，领域、方面w 根据概念框架建立条目池根据概念框架建立条目池w 量表初

17、稿量表初稿w 小规模试用、修改小规模试用、修改w 收集现场调查数据收集现场调查数据w 评价量表，信度、效度、反应度评价量表，信度、效度、反应度w 修改、定稿修改、定稿整理课件医学论文常见统计学错误与纠正医学论文常见统计学错误与纠正II.分析与结果分析与结果整理课件8.不考虑基线均衡与否不考虑基线均衡与否w 不首先考察基线是否均衡不首先考察基线是否均衡w 不论基线均衡与否，一概使用单变量分析不论基线均衡与否，一概使用单变量分析 方法：方法：比较百分比或均数：比较百分比或均数：检验；检验；比较均数：比较均数：t 检验、非参数检验检验、非参数检验 比较发生某事件的时间：比较发生某事件的时间：Kapl

18、an-Meier 方法方法 2 整理课件应当如何？应当如何？w 不论干预性研究还是观察性研究，数据分析不论干预性研究还是观察性研究，数据分析 的第一步总是考察基线是否均衡，列表报告的第一步总是考察基线是否均衡，列表报告w 若干预性研究许多变量基线不均衡若干预性研究许多变量基线不均衡 -随机化失败！随机化失败！w 若观察性研究多个变量基线不均衡，很自然！若观察性研究多个变量基线不均衡，很自然！-从设计入手，认真解决！从设计入手，认真解决！w 对付基线不均衡的统计学方法：对付基线不均衡的统计学方法：(1)分层分层 (2)匹配匹配 (3)回归回归 整理课件9.缺失值处理不当缺失值处理不当 三类缺失机

19、制：三类缺失机制：w 完全随机缺失完全随机缺失(missing completely at random,MCAR),缺失完全由随机因素造成缺失完全由随机因素造成w 随机缺失随机缺失(missing at random,MAR),缺失与缺失与 已有的观察结果有关已有的观察结果有关w 非随机缺失非随机缺失(missing not at random，NAR),缺失与当前观察到和尚未观察到的结果有关缺失与当前观察到和尚未观察到的结果有关整理课件常见错误常见错误:丢弃具有缺失值的个体？丢弃具有缺失值的个体？w 仅仅完全随机缺失才可丢弃有缺失值的个体完全随机缺失才可丢弃有缺失值的个体w 临床试验中，若

20、仅采用完整病例进行分析，临床试验中，若仅采用完整病例进行分析，违背违背 Intention-To-Treat原则原则(ITT原则原则)w 仅在以下情况下考虑使用完整病例进行分析仅在以下情况下考虑使用完整病例进行分析 在探索性研究中，药物研发的初期阶段；在探索性研究中，药物研发的初期阶段；在确证性试验中，作为次要结果的处理在确证性试验中，作为次要结果的处理 方法方法整理课件常见错误常见错误:数据填补（数据填补（data imputation）?w 仅在以下情况下仅在以下情况下 相对小的缺失率（例如相对小的缺失率（例如1015）含有缺失值的变量对于所要研究的问题含有缺失值的变量对于所要研究的问题

21、具有非常重要的意义；具有非常重要的意义；有合理的假设和结转技术有合理的假设和结转技术,一般宜遵循一般宜遵循 保守原则保守原则w 不同填补方式产生的结论需进行敏感性分析不同填补方式产生的结论需进行敏感性分析 整理课件10.统计检验结论不当统计检验结论不当差异性检验差异性检验 零假设：两组（或多组）总体均数间没有差别零假设：两组（或多组）总体均数间没有差别 对立假设：两组（或多组）总体均数间有差别对立假设：两组（或多组）总体均数间有差别 检验水准检验水准 若若 ，“两组样本均数间的差异具有统计学意义两组样本均数间的差异具有统计学意义(statistically significant)”-“可以认

22、为总体均数间有差别可以认为总体均数间有差别”p若若 ,“两组样本均数间的差异不具有统计学意义两组样本均数间的差异不具有统计学意义”-“尚不能认为总体均数间有差别尚不能认为总体均数间有差别”p整理课件常见错误常见错误w 若若 ,“两组样本均数间的两组样本均数间的差异显著差异显著”-“总体均数总体均数不等不等”（忘记有假阳性可能（忘记有假阳性可能!?）w 若若 ,“两组样本均数间的两组样本均数间的差异不显著差异不显著”-“总体均数总体均数相等相等”p p整理课件1 尚不能说有差异尚不能说有差异C优T优试验组-对照组(T-C)0图图1 差异性试验置信区间示意图差异性试验置信区间示意图2 尚不能说有差

23、异尚不能说有差异3 有差异有差异4 有差异有差异整理课件C优T优试验组-对照组(T-C)-01 非劣非劣图图2 非劣效性试验置信区间示意图非劣效性试验置信区间示意图4 尚不能下结论尚不能下结论2 非劣非劣3 非劣非劣5 劣劣整理课件试验组试验组-对照组对照组(T-C)C优T优 01 非优非优图图3 非优效性试验置信区间示意图非优效性试验置信区间示意图2 非优非优3 非优非优4 尚不能下结论尚不能下结论5 优优整理课件试验组-对照组(T-C)C优 T 优-01 非劣非劣图图4 等效性试验置信区间示意图等效性试验置信区间示意图2 非优非优3 非劣、非劣、非优非优 -等效等效整理课件小小 结结w 医

24、学论文常见统计学错误往往源于研究设计医学论文常见统计学错误往往源于研究设计 任何一项研究首先要明确定义目标总体；任何一项研究首先要明确定义目标总体；从目标总体选择对象要有细致的合格标准从目标总体选择对象要有细致的合格标准 和排除标准和排除标准;总体和标准不清晰，切勿匆忙上阵；总体和标准不清晰，切勿匆忙上阵；基于基于“杂乱杂乱”对象的研究，一定不会有对象的研究，一定不会有 科学结论。科学结论。整理课件小小 结结w 结局指标不是越多越好，主要指标只能一个结局指标不是越多越好，主要指标只能一个;次要指标可以多于一个，但不能过多次要指标可以多于一个，但不能过多;结局指标过多，费力不讨好结局指标过多，费

25、力不讨好;即便出现阳性结果，往往是假阳性，经不起即便出现阳性结果，往往是假阳性，经不起 重复。重复。整理课件小小 结结w 科学研究必须有对照；对照的选取与研究的科学研究必须有对照；对照的选取与研究的 假说有关；对照不恰当，研究没有好下场。假说有关；对照不恰当，研究没有好下场。w 样本量并非越大越好。不论干预性研究还是样本量并非越大越好。不论干预性研究还是 观察性研究，都要事先估算最小样本量观察性研究，都要事先估算最小样本量;医学论文的医学论文的“方法方法”部分必须有一段报告样部分必须有一段报告样 本量及其确定的依据本量及其确定的依据;依据不可靠，估算的样本量自欺欺人。依据不可靠，估算的样本量自

26、欺欺人。整理课件小小 结结w 随机化是保证研究真实性的重要措施，将随机化是保证研究真实性的重要措施，将随机化当作随机化当作“廉价名词廉价名词”，只说不做，或，只说不做，或做而不严，不做而不严，不 仅败坏科研道德，而且，往仅败坏科研道德，而且，往往导致研究失败。往导致研究失败。w 临床试验涉及人，无论研究对象还是研究临床试验涉及人，无论研究对象还是研究者有意无意受心理因素的影响，者有意无意受心理因素的影响，“盲法盲法”是消弱此类影响的重要措施是消弱此类影响的重要措施;研究终点的认定要尽量实施盲法。研究终点的认定要尽量实施盲法。整理课件小小 结结w 医学研究中，量表的应用日益广泛。医学研究中，量表

27、的应用日益广泛。引进国外量表或自制量表均属严肃的学术引进国外量表或自制量表均属严肃的学术 研究；研究；按一定程序引进或研制的量表才能作科研的按一定程序引进或研制的量表才能作科研的 测量工具；测量工具；非正规量表收集的数据缺乏科学性非正规量表收集的数据缺乏科学性.整理课件小小 结结w 数据分析的第一步必定是考察基线均衡与否；数据分析的第一步必定是考察基线均衡与否；基线不均衡，没有可比性基线不均衡，没有可比性;设计要保证基线均衡；设计要保证基线均衡；一旦不均衡，常用分层、匹配和回归等统计一旦不均衡，常用分层、匹配和回归等统计方法。方法。整理课件小小 结结w 统计检验的结论并非绝对肯定统计检验的结论

28、并非绝对肯定,也非绝对否定。也非绝对否定。若在检验水准若在检验水准 0.05 拒绝零假设，可说拒绝零假设，可说 “差异具有统计学意义差异具有统计学意义”,但仍有可能出错。但仍有可能出错。若不能拒绝零假设，只能认为目前证据尚若不能拒绝零假设，只能认为目前证据尚 不足以支持不足以支持“差异具有统计学意义差异具有统计学意义”这一这一 结论，不可因此而声称结论，不可因此而声称“无差异无差异”。整理课件小小 结结w 有时想说明新药不亚于常规药，可进行有时想说明新药不亚于常规药，可进行 “非劣效检验非劣效检验”w 有时想说明新药等效于常规药，必须进行有时想说明新药等效于常规药，必须进行 “等效检验等效检验”；“等效检验等效检验”包含一个非劣效检验和一个包含一个非劣效检验和一个 非优效检验非优效检验,仅当既仅当既“非劣非劣”又又“非优非优”时时,方能声称方能声称“等效等效”。整理课件参考书参考书w方积乾等方积乾等.卫生统计学卫生统计学(第第7版版).人民卫生出人民卫生出版社版社.2012w方积乾等方积乾等.医学统计学与电脑实验医学统计学与电脑实验(第第4版版).上海科学技术出版社上海科学技术出版社.2012整理课件谢谢谢谢