社会科学研究的有效性课件.ppt

1、杭州电子科技大学 管理科学与信息工程研究所 310018第四章第四章 管理研究的有效性管理研究的有效性杭州电子科技大学 管理科学与信息工程研究所 310018第四章第四章 管理研究的有效性管理研究的有效性n管理研究中，有效性（管理研究中，有效性（Validity）是被普遍接受）是被普遍接受的评价研究的指标。这种评价与其说是对方法本的评价研究的指标。这种评价与其说是对方法本身的优劣进行评价，不如说是对研究方法选择与身的优劣进行评价，不如说是对研究方法选择与应用是否适当进行评价。应用是否适当进行评价。n任何理论都是由对有关概念、概念间关系的描述任何理论都是由对有关概念、概念间关系的描述组成，并有其

2、特定的理论背景和应用范围。因此组成，并有其特定的理论背景和应用范围。因此对管理研究的评价，就集中在对有关概念及概念对管理研究的评价，就集中在对有关概念及概念间关系研究的评价上，同时考察理论的背景和应间关系研究的评价上，同时考察理论的背景和应用范围。用范围。杭州电子科技大学 管理科学与信息工程研究所 310018研究有效性的类别研究的有效性（研究的有效性（Validity）主要分为三种：）主要分为三种：n概念建构有效性概念建构有效性（Construct Validity，简称，简称C.V.）；）；n内部有效性内部有效性（Internal Validity，简称，简称I.V.）n外部有效性外部有效

3、性（External Validity，简称，简称E.V.）杭州电子科技大学 管理科学与信息工程研究所 310018各种有效性的定义n概念有效性概念有效性是指理论中的抽象概念在多大程度上是指理论中的抽象概念在多大程度上在实际研究中成功地进行了操作化，即操作变量在实际研究中成功地进行了操作化，即操作变量在何种程度上体现了它想要体现的理论概念的真在何种程度上体现了它想要体现的理论概念的真正含义。正含义。n内部有效性内部有效性是指在多大程度上研究允许得出两个是指在多大程度上研究允许得出两个变量之间是因果关系的推断。变量之间是因果关系的推断。n外部有效性外部有效性是指在多大程度上可以将对特定研究是指在

4、多大程度上可以将对特定研究样本和在特定研究环境下所得到的研究结果推广样本和在特定研究环境下所得到的研究结果推广到理论假设中所明确的总体和环境中去，因而又到理论假设中所明确的总体和环境中去，因而又可称为可推广性（可称为可推广性（generalibility）。）。三种有效性之间的关系 真实世界 特定时间、背景、对象群体 其它时间、背景、对象群体 变量 x 变量 y 概念 Y 概念 X E.V.C.V.C.V.I.V.杭州电子科技大学 管理科学与信息工程研究所 310018统计结论有效性n还有一种分类法是把有效性分为四种，即：概念还有一种分类法是把有效性分为四种，即：概念建构有效性；统计结论有效性

5、（建构有效性；统计结论有效性（Statistical Conclusion Validity,简称简称S.C.V.）；内部有效性）；内部有效性和外部有效性。和外部有效性。n统计结论有效性是指关于变量之间相关变化的统统计结论有效性是指关于变量之间相关变化的统计推论在何种程度上得到证实。对内部有效性则计推论在何种程度上得到证实。对内部有效性则定义为：观察到的相关变化在何种程度上可被认定义为：观察到的相关变化在何种程度上可被认为是因果关系。为是因果关系。n概念之间的关系可以表现为相关关系和因果关系，概念之间的关系可以表现为相关关系和因果关系，相关关系是因果关系的必要条件。这种分类方法相关关系是因果关

6、系的必要条件。这种分类方法是把前一种分类法中内部有效性的内容分成统计是把前一种分类法中内部有效性的内容分成统计结论有效性和内部有效性两个层次。结论有效性和内部有效性两个层次。杭州电子科技大学 管理科学与信息工程研究所 310018一、概念建构有效性一、概念建构有效性n概念建构有效性指的是一种操作化方案在概念建构有效性指的是一种操作化方案在何种程度上反映而且只反映希望度量的概何种程度上反映而且只反映希望度量的概念，而不受其他概念的系统影响。念，而不受其他概念的系统影响。它反映它反映了理论层次的抽象概念与度量抽象概念的了理论层次的抽象概念与度量抽象概念的操作变量之间的符合程度。操作变量之间的符合程

7、度。n例子：人力资源价值和工资收入的折现例子：人力资源价值和工资收入的折现杭州电子科技大学 管理科学与信息工程研究所 310018考察概念建构有效性的必要性n概念建构有效性是理论发展与检验的必要条件。概念建构有效性是理论发展与检验的必要条件。如果抽象概念与它的操作变量之间缺乏一致性，如果抽象概念与它的操作变量之间缺乏一致性，理论也就难以成立和发展。理论也就难以成立和发展。研究如果缺乏概念建研究如果缺乏概念建构有效性，无论随后的数据分析多么复杂精细，构有效性，无论随后的数据分析多么复杂精细，研究的结论也是没有意义的。研究的结论也是没有意义的。n概念的操作化过程不可避免地会包括一些不应包概念的操作

8、化过程不可避免地会包括一些不应包括的内容，同时又没有把一部分应包括的内容包括的内容，同时又没有把一部分应包括的内容包括进来，因而括进来，因而管理研究在不同程度上都存在概念管理研究在不同程度上都存在概念建构有效性问题建构有效性问题。杭州电子科技大学 管理科学与信息工程研究所 310018概念度量误差的基本来源n概念度量误差的一个基本来源是观测变量对概念概念度量误差的一个基本来源是观测变量对概念内涵反映的不充分和不准确。内涵反映的不充分和不准确。n操作层次的可观测变量是对理论层次的抽象概念操作层次的可观测变量是对理论层次的抽象概念的一种表示。实际上，变量不可能只反映它感兴的一种表示。实际上，变量不

9、可能只反映它感兴趣的理论概念，也不可能完全体现理论概念。趣的理论概念，也不可能完全体现理论概念。n对一个变量的度量即使高度可靠，即度量的随机对一个变量的度量即使高度可靠，即度量的随机误差很小（实际上，任何度量都不可避免会有随误差很小（实际上，任何度量都不可避免会有随机误差），也可能不具有高的概念建构有效性。机误差），也可能不具有高的概念建构有效性。因为可能是可靠地度量了其它概念，而不是原来因为可能是可靠地度量了其它概念，而不是原来希望度量的概念希望度量的概念。概念的多操作化定义概念的多操作化定义 操作性界定 2 操作性界定 1 操作性界定 3 被度量的 Construct 被度量的 Const

10、ruct 误差 杭州电子科技大学 管理科学与信息工程研究所 310018度量误差来源举例n如果要研究采用多媒体手段教学与学生学习效果如果要研究采用多媒体手段教学与学生学习效果的关系，可以设计一种实验，通过考试测度采用的关系，可以设计一种实验，通过考试测度采用多媒体手段与不采用多媒体手段学生学习成绩的多媒体手段与不采用多媒体手段学生学习成绩的差别，以检验所提出的假设。差别，以检验所提出的假设。n学生的学习成绩作为一种操作变量既反映我们希学生的学习成绩作为一种操作变量既反映我们希望反映的概念望反映的概念“学习效果学习效果”，也会反映不希望反，也会反映不希望反映的概念，如：考试测试了与学习成绩无关的

11、内映的概念，如：考试测试了与学习成绩无关的内容：学习兴趣、考试引起的紧张、学生的语言能容：学习兴趣、考试引起的紧张、学生的语言能力和应试经验等，这些都会给测试带来系统误差。力和应试经验等，这些都会给测试带来系统误差。n另外，度量中还会有随机误差，如阅卷错误、记另外，度量中还会有随机误差，如阅卷错误、记录错误等。录错误等。杭州电子科技大学 管理科学与信息工程研究所 310018组成概念度量值的成份n在概念域界定清楚的前提下，用操作变量对概念进在概念域界定清楚的前提下，用操作变量对概念进行度量的结果一般由三部分组成：行度量的结果一般由三部分组成：（1）希望反映的目标概念的内容（）希望反映的目标概念

12、的内容（真实值）真实值）；（2）不希望反映的非目标概念的内容（）不希望反映的非目标概念的内容（系统误差）系统误差）；（3）随机误差。）随机误差。即：即：X0XTXSXR 其中，其中，X0为度量值；为度量值；XT为真实值；为真实值；XS为系统误差；为系统误差；XR为随机误差。为随机误差。杭州电子科技大学 管理科学与信息工程研究所 310018有效性与可靠性的关系对概念度量有效性的评价包括了两个部分：对概念度量有效性的评价包括了两个部分：XR和和XS。与与XR有关的部分称为可靠性（有关的部分称为可靠性（Reliability，又称信度），指在何种程度上度量避免了随机误又称信度），指在何种程度上度量

13、避免了随机误差。差。n广义的有效性是指操作化定义或测试的结果多大广义的有效性是指操作化定义或测试的结果多大程度上能代表要研究的复合概念。本身包括可靠程度上能代表要研究的复合概念。本身包括可靠性。性。n狭义的有效性是指测试结果多大程度上能避免系狭义的有效性是指测试结果多大程度上能避免系统误差。此时不包括可靠性。统误差。此时不包括可靠性。n有效性以可靠性为前提，没有可靠性就没有有效有效性以可靠性为前提，没有可靠性就没有有效性。在假定度量具有高可靠性的前提下，概念建性。在假定度量具有高可靠性的前提下，概念建构有效性主要取取决于系统误差构有效性主要取取决于系统误差XS。杭州电子科技大学 管理科学与信息

14、工程研究所 310018概念建构有效性的层次n按照理论在概念建构有效性验证过程中的作用，按照理论在概念建构有效性验证过程中的作用，可以将概念建构有效性区分为：可以将概念建构有效性区分为：n属性有效性属性有效性指在概念建构有效性验证过程中，不考虑理论指在概念建构有效性验证过程中，不考虑理论的作用（理论只用于最初定义概念），在理论的作用（理论只用于最初定义概念），在理论的真空中考察概念与其度量变量之间是否一致，的真空中考察概念与其度量变量之间是否一致，属性有效性是内部的。属性有效性是内部的。n基于预期的概念建构有效性。基于预期的概念建构有效性。指对概念的度量是否与根据理论推演出的预期指对概念的度量

15、是否与根据理论推演出的预期结果一致。基于预期的概念建构有效性可看作结果一致。基于预期的概念建构有效性可看作是外部的。是外部的。杭州电子科技大学 管理科学与信息工程研究所 310018属性有效性属性有效性n属性有效性包括：属性有效性包括：表面有效性（表面有效性（Face Validity）；）；内容有效性（内容有效性（Content Validity）：）：会聚有效性（会聚有效性（Convergent Validity）；差别有效性（差别有效性（Discriminant Validity）广 义 的广 义 的 属 性属 性 有 效 性 还 包 括有 效 性 还 包 括 可 靠 性可 靠 性（Re

16、liability），可靠性指度量在何种程度上），可靠性指度量在何种程度上避免了随机误差，可靠性是有效性的必要条件。避免了随机误差，可靠性是有效性的必要条件。杭州电子科技大学 管理科学与信息工程研究所 310018 表面有效性和内容有效性n表面有效性是指由一组专家做出判断，确定表面有效性是指由一组专家做出判断，确定一种度量方法是否确实度量了它名义上要度一种度量方法是否确实度量了它名义上要度量的概念。表面有效性评估是个主观过程，量的概念。表面有效性评估是个主观过程，但它通常是有效性评价的先决条件，观念度但它通常是有效性评价的先决条件，观念度量多数情况下必须首先通过表面有效性检验。量多数情况下必须

17、首先通过表面有效性检验。n内容有效性指度量是否包括了足够有代表性内容有效性指度量是否包括了足够有代表性的项目集来度量基准概念。度量方案中的项的项目集来度量基准概念。度量方案中的项目越充分地代表了待测概念的概念域，就越目越充分地代表了待测概念的概念域，就越具有内容有效性。具有内容有效性。杭州电子科技大学 管理科学与信息工程研究所 310018会聚有效性n度量同一概念的不同方法之间的重合程度用会聚度量同一概念的不同方法之间的重合程度用会聚有效性（有效性（Convergent Validity）表示。）表示。n会聚有效性表明用不同方法度量同一概念所得出会聚有效性表明用不同方法度量同一概念所得出的度量

18、结果的相关程度。反映使用不同方法度量的度量结果的相关程度。反映使用不同方法度量同一概念所得出的度量结果之间的一致性。同一概念所得出的度量结果之间的一致性。n不同度量方法有着互不相关的不同的误差来源不同度量方法有着互不相关的不同的误差来源（理想状态下，不同度量方法之间应不具有共同（理想状态下，不同度量方法之间应不具有共同的干扰因素），但度量同一概念的不同变量应高的干扰因素），但度量同一概念的不同变量应高度相关。度相关。杭州电子科技大学 管理科学与信息工程研究所 310018差别有效性n度量不同概念的不同方法之间的差异程度用差别度量不同概念的不同方法之间的差异程度用差别有效性（有效性（Discri

19、minant Validity）表示。）表示。n差别有效性反映拟度量不同概念的变量之间不相差别有效性反映拟度量不同概念的变量之间不相关的程度，表明了拟度量不同概念的变量在何种关的程度，表明了拟度量不同概念的变量在何种程度上度量了相异部分。程度上度量了相异部分。n度量某个概念的变量不应与度量不同概念的其它度量某个概念的变量不应与度量不同概念的其它变量相关，否则可能说明该变量和其他变量度量变量相关，否则可能说明该变量和其他变量度量了共同的其他内容而非该变量希望度量的概念。了共同的其他内容而非该变量希望度量的概念。杭州电子科技大学 管理科学与信息工程研究所 310018基于预期的概念建构有效性基于预

20、期的概念建构有效性n基于预期的概念建构有效性包括：基于预期的概念建构有效性包括：n维度有效性维度有效性（Dimension Validity）n理论有效性（理论有效性（Nomological Validity）n相关标准有效性（相关标准有效性（Criteria-Related Validity）杭州电子科技大学 管理科学与信息工程研究所 310018维度有效性和理论有效性n维度有效性指度量结果显示的维度是否与维度有效性指度量结果显示的维度是否与理论对概念界定的维度认识一致。理论对概念界定的维度认识一致。n概念作为理论的构件，根据理论的定义和概念作为理论的构件，根据理论的定义和推演，与理论中的其

21、他概念形成一系列的推演，与理论中的其他概念形成一系列的相互关系。理论有效性是指用于度量的操相互关系。理论有效性是指用于度量的操作变量之间的关系是否与理论中描述的相作变量之间的关系是否与理论中描述的相应概念之间的相互关系符合。应概念之间的相互关系符合。杭州电子科技大学 管理科学与信息工程研究所 310018相关标准有效性n某些度量能够（或者其目的就是）对某些相关变量（称为标某些度量能够（或者其目的就是）对某些相关变量（称为标准变量）做出推断和预测，相关标准有效性指度量结果是否准变量）做出推断和预测，相关标准有效性指度量结果是否有助于推断或预测其它的相关变量。有助于推断或预测其它的相关变量。n例如

22、，对新员工考试是为了预测该员工未来的工作绩效。如例如，对新员工考试是为了预测该员工未来的工作绩效。如果发现在考试成绩与工作绩效之间确实存在较高的相关关系，果发现在考试成绩与工作绩效之间确实存在较高的相关关系，则该度量具有相关标准的有效性。则该度量具有相关标准的有效性。n对应于相关标准变量发生时间在过去、现在和将来，相关标对应于相关标准变量发生时间在过去、现在和将来，相关标准有效性又分别称为：准有效性又分别称为：历史有效性（历史有效性（Postdictive Validity）；）；并行有效性（并行有效性（Concurrent Validity）；）；预测有效性（预测有效性（Predictive

23、 Validity）。）。杭州电子科技大学 管理科学与信息工程研究所 310018评价概念建构有效性的思路评价概念建构有效性的思路n度量同一概念的不同变量间应具有高相关性。度量同一概念的不同变量间应具有高相关性。n所有操作变量与概念有关的部分称为公共核。如果所所有操作变量与概念有关的部分称为公共核。如果所有变量都来自同一个概念域，则这些变量的度量结果有变量都来自同一个概念域，则这些变量的度量结果应该高度相关。当随机误差为零时，它们应完全相关。应该高度相关。当随机误差为零时，它们应完全相关。n度量不同概念的不同变量间应缺乏相关性度量不同概念的不同变量间应缺乏相关性n度量某个特定概念的变量不应与度

24、量不同概念的其他度量某个特定概念的变量不应与度量不同概念的其他变量相关，否则可能说明该变量和其他变量都具有共变量相关，否则可能说明该变量和其他变量都具有共同的系统误差。同的系统误差。n如果度量同一概念的变量中有某些变量不是来自正确如果度量同一概念的变量中有某些变量不是来自正确的概念域。不同变量的度量结果之间相关性必然低。的概念域。不同变量的度量结果之间相关性必然低。如果某变量完全不能度量目标概念，假定不同变量包如果某变量完全不能度量目标概念，假定不同变量包含的系统误差来源不同，该变量与其它变量的度量结含的系统误差来源不同，该变量与其它变量的度量结果应完全不相关。果应完全不相关。杭州电子科技大学

25、 管理科学与信息工程研究所 310018评价概念建构有效性的要点（1）明确目标概念的外延及维度，明确与概念有关）明确目标概念的外延及维度，明确与概念有关的可观察变量的范围，哪些变量可以度量目标概念，的可观察变量的范围，哪些变量可以度量目标概念，各个变量分别可以度量目标概念的哪些方面，以及各个变量分别可以度量目标概念的哪些方面，以及各个变量可能反映哪些目标概念之外的内容；各个变量可能反映哪些目标概念之外的内容；（2）通过经验研究和统计分析，确定不同度量方法）通过经验研究和统计分析，确定不同度量方法在多大程度上度量的是同一抽象概念，或者在多大在多大程度上度量的是同一抽象概念，或者在多大程度上度量的

26、是不同概念。程度上度量的是不同概念。（3）通过控制性实验和调查研究等方法，确定与概）通过控制性实验和调查研究等方法，确定与概念对应的变量产生的结果在何种程度上与和该概念念对应的变量产生的结果在何种程度上与和该概念有关的、并与得到广泛认可的理论结论相一致，度有关的、并与得到广泛认可的理论结论相一致，度量是否与预期的结果相符。量是否与预期的结果相符。杭州电子科技大学 管理科学与信息工程研究所 310018会聚有效性评价会聚有效性评价n科学研究的一个基本原则是任何特定概念应该可科学研究的一个基本原则是任何特定概念应该可以用多种不同方法分别度量。否则研究者无法知以用多种不同方法分别度量。否则研究者无法

27、知道测得的结果是基准概念还是度量过程本身的产道测得的结果是基准概念还是度量过程本身的产物。物。n度量的会聚有效性说明用不同度量方法度量同一度量的会聚有效性说明用不同度量方法度量同一概 念 的 度 量 结 果 在 何 种 程 度 上 共 同 变 化概 念 的 度 量 结 果 在 何 种 程 度 上 共 同 变 化（Conmon Variance），），n会聚有效性要通过判断不同度量方法的度量结果会聚有效性要通过判断不同度量方法的度量结果之间是否具有高相关性来评价。之间是否具有高相关性来评价。杭州电子科技大学 管理科学与信息工程研究所 310018差别有效性评价差别有效性评价n差别有效性表示对一个

28、新概念的测度在多大程度差别有效性表示对一个新概念的测度在多大程度不是由测度变量与别的变量的相关性导致的。不是由测度变量与别的变量的相关性导致的。n差别有效性要通过判断该度量方法与用来测度不差别有效性要通过判断该度量方法与用来测度不同概念的其它方法之间是否缺乏相关性来评价。同概念的其它方法之间是否缺乏相关性来评价。n用来评价会聚有效性和差别有效性的常用方法是用来评价会聚有效性和差别有效性的常用方法是多属性多方法矩阵。该矩阵的元素表示分别用多属性多方法矩阵。该矩阵的元素表示分别用不同的方法对不同的属性进行度量的结果相互之不同的方法对不同的属性进行度量的结果相互之间的相关系数。产生多属性多方法矩阵的

29、方法和间的相关系数。产生多属性多方法矩阵的方法和属性应该尽可能独立。属性应该尽可能独立。杭州电子科技大学 管理科学与信息工程研究所 310018会聚有效性和差别有效性评价举例n为了测度学校教师对为了测度学校教师对MBA教育的看法，设计一种教育的看法，设计一种书面问卷进行抽样调查，问卷的项目是向被访问书面问卷进行抽样调查，问卷的项目是向被访问者提问对开展者提问对开展MBA教育所带来的各种影响的态度，教育所带来的各种影响的态度，如如MBA教育的社会影响、开展教育的社会影响、开展MBA教育对学校教育对学校地位的影响、地位的影响、MBA教育对学术研究的影响等，用教育对学术研究的影响等，用1分到分到7分

30、别表示从不满意到满意，各项得分加总分别表示从不满意到满意，各项得分加总作为受试者对作为受试者对MBA教育的测量值。为了评价该度教育的测量值。为了评价该度量的会聚有效性和差别有效性，引入另外两个概量的会聚有效性和差别有效性，引入另外两个概念：对学校住房制度的态度和对校园环境的满意念：对学校住房制度的态度和对校园环境的满意程度，同时采用不同的度量方法（如访谈或电话程度，同时采用不同的度量方法（如访谈或电话采访）。采访）。多属性多方法矩阵多属性多方法矩阵 方法 1 方法 2 对 MBA的态度 对住房制 度的态度 对环境的满意度 对 MBA的态度 对住房制度的态度 对环境的满意度 对 MBA的态度 0

31、.896 对住房制度的态度 -0.236 0.670 方法 1 对环境的满意度 -0.356 -0.075 0.817 对 MBA的态度 0.450 -0.082 -0.054 对住房制度的态度 -0.244 0.395 -0.142 -0.147 方法 2 对环境的满意度 -0.252 -0.141 0.464 -0.170 -0.289 杭州电子科技大学 管理科学与信息工程研究所 310018多属性多方法矩阵说明n矩阵元素表示分别用不同的方法对不同的属性进矩阵元素表示分别用不同的方法对不同的属性进行度量的结果之间的相关系数。矩阵由行度量的结果之间的相关系数。矩阵由4种元素种元素分块组成，分

32、别在分块左上角用数字标识：分块组成，分别在分块左上角用数字标识：可靠性对角；可靠性对角；有效性对角；有效性对角；异属性同方法三角形；异属性同方法三角形；异方法三角形。异方法三角形。n通过分析各分块中的数据可以对度量的可靠性、通过分析各分块中的数据可以对度量的可靠性、会聚有效性和差别有效性进行评价。会聚有效性和差别有效性进行评价。杭州电子科技大学 管理科学与信息工程研究所 310018多属性多方法矩阵说明n可靠性对角中的数据反映了用方法可靠性对角中的数据反映了用方法1对三种态度对三种态度分别度量的可靠性。它表示用同种方法对同一属性分别度量的可靠性。它表示用同种方法对同一属性进行多次度量时，测度结

33、果间的相关程度，也可以进行多次度量时，测度结果间的相关程度，也可以用显著性水平参数用显著性水平参数代替。代替。n有效性对角描述了度量的会聚有效性，即：使用有效性对角描述了度量的会聚有效性，即：使用不同方法度量同一概念所得出的度量结果之间的一不同方法度量同一概念所得出的度量结果之间的一致程度。相关系数显著地区别于零并且足够大表明致程度。相关系数显著地区别于零并且足够大表明度量有较高的会聚有效性。图中的有效性系数分别度量有较高的会聚有效性。图中的有效性系数分别为为0.450，0.395和和0.464，显著性水平，显著性水平0.01。杭州电子科技大学 管理科学与信息工程研究所 310018多属性多方

34、法矩阵说明n评价差别有效性需要进行三种比较：评价差别有效性需要进行三种比较：（1）有效性对角中的相关系数应该大于异方法三角形中）有效性对角中的相关系数应该大于异方法三角形中处于同行或同列的相关系数。它表明对同一属性用不同方法处于同行或同列的相关系数。它表明对同一属性用不同方法进行的度量结果间的相关关系应该高于属性和方法都不相同进行的度量结果间的相关关系应该高于属性和方法都不相同的两个度量之间的相关关系。这是最起码的要求，图中的数的两个度量之间的相关关系。这是最起码的要求，图中的数据满足了这个条件。据满足了这个条件。（2）有效性对角中的相关系数应该高于异属性同方法三）有效性对角中的相关系数应该高

35、于异属性同方法三角形中的相关系数，这表明用不同方法对同一属性的度量角形中的相关系数，这表明用不同方法对同一属性的度量间的相关程度必须高于用同种方法对不同属性的度量间的相间的相关程度必须高于用同种方法对不同属性的度量间的相关程度。这是一个更加严格的要求，图中数据满足这个要求。关程度。这是一个更加严格的要求，图中数据满足这个要求。（3）所有的异属性同方法三角形和异方法三角形中的）所有的异属性同方法三角形和异方法三角形中的相关关系模式应该相同。这可以通过在每个异属性三角形中相关关系模式应该相同。这可以通过在每个异属性三角形中对相关系数进行排序检查。图中的数据基本满足这个要求。对相关系数进行排序检查。

36、图中的数据基本满足这个要求。每个异属性三角形中，相关系数的符号模式一致，相关系数每个异属性三角形中，相关系数的符号模式一致，相关系数的大小顺序也基本一致。的大小顺序也基本一致。杭州电子科技大学 管理科学与信息工程研究所 310018基于预期的概念建构有效性评价基于预期的概念建构有效性评价n概念建构有效性也可以通过判断度量的结果是否概念建构有效性也可以通过判断度量的结果是否与根据有关理论等对概念所做出的预期之间的一与根据有关理论等对概念所做出的预期之间的一致性来评价。致性来评价。概念建构的维度有效性评价概念建构的维度有效性评价n可以使用因子分析（因子分析是用少数几个可观可以使用因子分析（因子分析

37、是用少数几个可观测随机变量描述不可观测的假设变量之间的协方测随机变量描述不可观测的假设变量之间的协方差关系的数学方法）等方法对度量结果进行分析，差关系的数学方法）等方法对度量结果进行分析，如果发现由可观测变量度量的维度与理论上概念如果发现由可观测变量度量的维度与理论上概念的维度一致，则说明度量具有维度有效性。的维度一致，则说明度量具有维度有效性。杭州电子科技大学 管理科学与信息工程研究所 310018维度有效性评价举例维度有效性评价举例n为了考察学生在阅读理解、数学抽象思维为了考察学生在阅读理解、数学抽象思维和艺术形象思维等方面的能力，给出一份和艺术形象思维等方面的能力，给出一份包括包括50道

38、题的试卷。阅读理解、数学抽象道题的试卷。阅读理解、数学抽象思维和艺术形象思维能力是不能直接观测思维和艺术形象思维能力是不能直接观测的，而对试卷中每道题回答的成绩是可观的，而对试卷中每道题回答的成绩是可观测的。将对每道题回答的成绩作为一个可测的。将对每道题回答的成绩作为一个可观测变量，如果分析表明这些成绩能够反观测变量，如果分析表明这些成绩能够反映想要测度的阅读理解、数学抽象思维和映想要测度的阅读理解、数学抽象思维和艺术形象思维能力，则认为这种考试具有艺术形象思维能力，则认为这种考试具有维度有效性。维度有效性。杭州电子科技大学 管理科学与信息工程研究所 310018概念建构的相关标准有效性评价概

39、念建构的相关标准有效性评价n分析度量中使用的可观测变量与要预测的标准变量分析度量中使用的可观测变量与要预测的标准变量之间的关系，如果发现在度量变量与要预测的标准之间的关系，如果发现在度量变量与要预测的标准变量之间存在较高的相关关系，则该度量具有相关变量之间存在较高的相关关系，则该度量具有相关标准有效性。标准有效性。n例如，研究生入学考试是为了选拔培养具有创新能例如，研究生入学考试是为了选拔培养具有创新能力的研究人才，设置了数学、英语、专业基础和专力的研究人才，设置了数学、英语、专业基础和专业课程等考试科目。如果分析表明某科目的入学成业课程等考试科目。如果分析表明某科目的入学成绩与学生入学后的学

40、习能力、研究能力或毕业后的绩与学生入学后的学习能力、研究能力或毕业后的开拓创新能力之间有较高的相关关系，可以证明该开拓创新能力之间有较高的相关关系，可以证明该科目考试具有较高的相关标准有效性。科目考试具有较高的相关标准有效性。杭州电子科技大学 管理科学与信息工程研究所 310018概念建构的理论有效性评价概念建构的理论有效性评价n会聚有效性和差别有效性只能说明不同方法测量会聚有效性和差别有效性只能说明不同方法测量的是同一或不同概念，不能保证这个概念就是希的是同一或不同概念，不能保证这个概念就是希望测量的概念。度量同一概念且具有高相关性的望测量的概念。度量同一概念且具有高相关性的不同方法所度量的

41、可能不是所希望度量的概念，不同方法所度量的可能不是所希望度量的概念，而是另一个无关概念。而是另一个无关概念。n概念建构涉及问题的界定、概念定义和概念域界概念建构涉及问题的界定、概念定义和概念域界定等理论层次，一种理论的建构通常需要其它理定等理论层次，一种理论的建构通常需要其它理论的支持。我们可以把希望度量的概念与其它多论的支持。我们可以把希望度量的概念与其它多个概念相联系，并且引入已被仔细考察的理论和个概念相联系，并且引入已被仔细考察的理论和假设推演出概念之间的相互关系，通过比较理论假设推演出概念之间的相互关系，通过比较理论层次和经验层次的关系模式，考察度量结果与理层次和经验层次的关系模式，考

42、察度量结果与理论推演结果的一致性来检验概念建构有效性。论推演结果的一致性来检验概念建构有效性。理论有效性理论有效性 A B C D a b c d 概念 理论逻辑 变量 经验关系 杭州电子科技大学 管理科学与信息工程研究所 310018理论有效性评价的逻辑结构理论有效性评价的逻辑结构n概念建构理论有效性检验在逻辑上是基于以下四个概念建构理论有效性检验在逻辑上是基于以下四个独立假设：独立假设：概念概念A与概念与概念B具有相关关系；具有相关关系；变量变量a是对概念是对概念A的有效度量；的有效度量；变量变量b是对概念是对概念B的有效度量；的有效度量；变量变量a与变量与变量b相关；相关；n其中只有假设

43、是能直接被经验数据所证明的。要其中只有假设是能直接被经验数据所证明的。要论证变量论证变量a是否是对概念是否是对概念A的有效度量，就必须假定的有效度量，就必须假定假设与假设是正确的，即变量假设与假设是正确的，即变量b是对概念是对概念B的有的有效度量，而且概念效度量，而且概念A与概念与概念B之间的相关关系是真之间的相关关系是真实存在的。这种检验方法将对概念建构有效性的验实存在的。这种检验方法将对概念建构有效性的验证与整个理论的发展和证明结合了起来。证与整个理论的发展和证明结合了起来。杭州电子科技大学 管理科学与信息工程研究所 310018影响概念建构有效性的因素影响概念建构有效性的因素n影响概念建

44、构有效性的主要因素有：影响概念建构有效性的主要因素有：操作化前对概念的不适当界定；操作化前对概念的不适当界定；操作化过程中操作变量选择的不适当；操作化过程中操作变量选择的不适当；单一操作方法（或变量）的偏差；单一操作方法（或变量）的偏差；单一度量项目的偏差；单一度量项目的偏差；对概念之间的非线性关系缺乏认识或处理不当而作不对概念之间的非线性关系缺乏认识或处理不当而作不适当的线性外推；适当的线性外推；调查过程中被调查者对问题的错误理解；调查过程中被调查者对问题的错误理解；n要提高概念建构有效性，需要对整个研究进行过要提高概念建构有效性，需要对整个研究进行过程控制，在每一个环节注意避免和减少系统误

45、差程控制，在每一个环节注意避免和减少系统误差和随机误差。和随机误差。提高概念建构有效性的过程控制方法提高概念建构有效性的过程控制方法 确定概念域 生成度量项目 对度量项目去粗取精 试收集数据 收集数据 评价可靠性 评价有效性 度量结果描述 8 7 6 5 4 3 2 1 文献研究 文献研究 经验调查 情景描述 个案研究 相关系数 参数 因子分析 参数 其它统计检验方法 多属性多方法矩阵 相关标准有效性 理论有效性 均值 其它统计分布参数 步 骤 建议采用的技术或参数 杭州电子科技大学 管理科学与信息工程研究所 310018提高概念建构有效性的要点n在操作化之前对概念的界定要清楚，这是进行有在操

46、作化之前对概念的界定要清楚，这是进行有效研究的前提。效研究的前提。n采用多项目度量方法，即采用多个变量度量同一采用多项目度量方法，即采用多个变量度量同一概念，这种方法也称为操作多元化。操作多元化概念，这种方法也称为操作多元化。操作多元化有助于克服单项目度量存在的度量项目与被测概有助于克服单项目度量存在的度量项目与被测概念之间相关度可能较低而与其它概念则可能会有念之间相关度可能较低而与其它概念则可能会有一定的相关性的弱点，并且能更精细地划分待测一定的相关性的弱点，并且能更精细地划分待测概念的属性，提高度量精度和度量的可靠性。概念的属性，提高度量精度和度量的可靠性。n重视统计口径的统一、数据的可比

47、性、数据收集重视统计口径的统一、数据的可比性、数据收集方法设计和具体实施过程的科学性和严格性，以方法设计和具体实施过程的科学性和严格性，以保证获得高质量的信息。保证获得高质量的信息。杭州电子科技大学 管理科学与信息工程研究所 310018二、内部有效性二、内部有效性n因果关系因果关系因果关系是指一个概念的变化引起另一个概念的变化，因果关系是指一个概念的变化引起另一个概念的变化，作为原因的变量称为自变量（作为原因的变量称为自变量（independent variable），），作为结果的变量称为因变量（作为结果的变量称为因变量（dependent variable）。）。管理研究假设的多数命题是

48、因果关系命题，这是由认识管理研究假设的多数命题是因果关系命题，这是由认识因果关系在理论推演和实际应用中所具有的特殊作用决因果关系在理论推演和实际应用中所具有的特殊作用决定的。对因果关系的研究是研究概念间关系的核心。定的。对因果关系的研究是研究概念间关系的核心。相关关系是因果关系成立的必要条件，对相关关系的研相关关系是因果关系成立的必要条件，对相关关系的研究可以归入因果关系研究中去。为推断因果关系成立必究可以归入因果关系研究中去。为推断因果关系成立必须尽可能避免假因果关系的干扰。须尽可能避免假因果关系的干扰。杭州电子科技大学 管理科学与信息工程研究所 310018因果关系推断方法因果关系推断方法

49、n因果关系的推断，可以采用理论演绎的方法，但因果关系的推断，可以采用理论演绎的方法，但必须依靠一定的公理和假设，而公理和假设同样必须依靠一定的公理和假设，而公理和假设同样需要经验的验证。需要经验的验证。n推断因果关系的常用方法有：求同法、求异法、推断因果关系的常用方法有：求同法、求异法、求同求异并用法、共变法和剩余法。求同求异并用法、共变法和剩余法。（1）求同法）求同法一些现象在几个场合出现，而且这些场合中只一些现象在几个场合出现，而且这些场合中只有一个唯一的共同情况，那么这个唯一共同的有一个唯一的共同情况，那么这个唯一共同的情况与这些现象之间就有因果关系。情况与这些现象之间就有因果关系。杭州

50、电子科技大学 管理科学与信息工程研究所 310018场合场合 先行情况先行情况 被研究现象被研究现象 (1)A、B、C a (2)A、D、E a (3)A、F、G a .所以，所以，A情况是情况是a现象的原因。现象的原因。杭州电子科技大学 管理科学与信息工程研究所 310018因果关系推断方法因果关系推断方法（2）求异法）求异法考察两个场合，被研究现象在一个场合出现，考察两个场合，被研究现象在一个场合出现，在另一个场合未出现，而这两个场合中又只有在另一个场合未出现，而这两个场合中又只有一个不同的情况，那么，这个唯一不同的情况一个不同的情况，那么，这个唯一不同的情况与被研究现象之间有因果关系。与