个化学研究小组H指数与标准文献计量学指标及同行评议之间关系课件.ppt

1、147147个化学研究小组个化学研究小组H指数与标准文献计量学指标指数与标准文献计量学指标及同行评议之间的关系及同行评议之间的关系Author ANTHONY F. J. VAN RAAN荷兰莱登大学科学技术研究中心的科学计量学教授。 1945年生于荷兰，1969年毕业于Utrecht大学，主要学习数学、物理学、天文学（1999年Nobel物理学奖获得者Martin Veltman是他的理论物理学老师）。1973年获得Utrecht大学物理学博士学位。 Author ANTHONY F. J. VAN RAANMain research themes Quantitative analysis

2、 of science and technology, in particular the advancement and sophistication of citation-analysis based on bibliometrics as a powerful, objective tool not only in research evaluation, but also in the study of scientific developments in general;Development and application of a mapping methodology to

3、create landscapes of scientific fields; this methodology has a generic character and is therefore widely applicable as a general knowledge discovery instrument;Development of the above mentioned methodology not only to map established scientific fields, but also to map research around socio-economic

4、 themes;Science as a self-organizing ecosystem, based on empirical work leading to the discovery of the fractal structure of science (published in Nature, 1990);A new model for the measurement of growth and differentiation of science that explains the fractal structure mathematically;A new model to

5、explain the distribution of citing articles over publications in terms of a general two-step competition process that could also be used in economics to explain income-distributions; Author ANTHONY F. J. VAN RAAN 1995年他与美国著名科学社会学家Robert K. Merton一起获得文献计量学领域国际最高奖项 普赖斯奖。本文发表于2006年Scientometrics第三期中 In

6、troduction 同行评议同行评议peer review 同行评议指某一学科或专业的科学家共同参加评议科研计同行评议指某一学科或专业的科学家共同参加评议科研计划、科研成果的活动。划、科研成果的活动。 根据科研计划，如竞争性合同题的评议，它不是一个单位根据科研计划，如竞争性合同题的评议，它不是一个单位内的同行评议，而是在确定科研课题后，在全国或部分地内的同行评议，而是在确定科研课题后，在全国或部分地区的研究单位、医学院校区的研究单位、医学院校“招标招标”，然后组织国内或部分，然后组织国内或部分地区的同行评议地区的同行评议。Introduction Hirsch在在2005年提出了年提出了Hi

7、rschIndex（h指数）指数）这一概念：这一概念：u某作者至多有某作者至多有h篇论文分别被引用了至少篇论文分别被引用了至少h次。次。u在某数据库中让论文按被引次数依次从高到低排列，直到某篇论文的序在某数据库中让论文按被引次数依次从高到低排列，直到某篇论文的序号大于该论文被引次数号大于该论文被引次数.那个序号减去那个序号减去1就是就是H指数。指数。序号序号引文数引文数120213394453Introduction 根据根据hirsch的理论，的理论，H指数是对引文绝对卷数的计量值，指数是对引文绝对卷数的计量值，因此也可以用因此也可以用h2对引文总数进行估计对引文总数进行估计 但是但是Van

8、Raan在在2006年发表的论文中指出：年发表的论文中指出：H2对引文的对引文的总量估计将会偏低，因为它忽略了引文数少于总量估计将会偏低，因为它忽略了引文数少于h的文章。的文章。P（c）=CSIntroduction 第一个用第一个用h指数作为标准的科学家指数作为标准的科学家排行榜是排行榜是Hirsch在在2005年做的一个年做的一个对杰出物理学家的排行榜。对杰出物理学家的排行榜。 该榜中排名在首位的是该榜中排名在首位的是EdWittenBorn) August 26, 1951FieldsTheoretical physicsSuperstring TheoryInstitutions In

9、stitute for Advanced StudyHarvard UniversityCalifornia Institute of TechnologyPrinceton University Notable awardsMacArthur Fellowship (1982)Dirac Medal (1985)Albert Einstein Award (1985)Fields Medal (1990)Henri Poincar Prize (2006)Alan T. Waterman Award (1995)Nemmers Prize (2000)Henniemen Award (200

10、4)Harvey Prize (2005)Crafoord Prize (2008)Lorentz Medal (2010)Isaac Newton Medal (2010)著名专家在排行中领衔的结果著名专家在排行中领衔的结果强化了强化了Hirsch的建议方法的建议方法IntroductionH指数指数 可以将那些有稳定、持久、杰出贡献但没有得到应得声誉的研究人员从默默无闻中被解救出来！Journals with the highest h-index for their 2001 papersIntroduction 表中的大部分期刊都是关于生物医学领域的，在表前20位中，除了两个跨学科杂志

11、之外，还有两种物理学杂志（Physical Review Letters 和Astrophysical Journal)和一种化学杂志（Journal of the American Chemical Society） 这三种杂志尽管在它们各自的领域声望都很高，但是在按影响因子排列的期刊列表中，它们都是在100名之外的。这显示出h指数更加平衡的特点。 Introduction h指数是怎样与基于高级文献计量学指数的引文影响指数是怎样与基于高级文献计量学指数的引文影响指数相关联的？又是怎样与同行评议的结果相关联的？指数相关联的？又是怎样与同行评议的结果相关联的？不同学科领域高级文献计量学高级文献

12、计量学指数指数不同引文类型不同出版物类型H指数指数 同行评议同行评议 高级文献计高级文献计量学指数量学指数材料和方法 本文在本文在科研研究小组水平科研研究小组水平进行分析：进行分析： 因为在科学研究中，尤其是自然科学研究中，研究小组是因为在科学研究中，尤其是自然科学研究中，研究小组是最重要的单位。最重要的单位。研究小组会被大学、研究和发展机构的内部结构制约（主要的科学家倾向于他们研研究小组会被大学、研究和发展机构的内部结构制约（主要的科学家倾向于他们研究组的全部作品），不能像作者和期刊那样在数据库中直接应用。究组的全部作品），不能像作者和期刊那样在数据库中直接应用。抽取研究小组的相关指标，排除

13、自引抽取研究小组的相关指标，排除自引材料和方法 本研究的数据来源涵盖了荷兰所本研究的数据来源涵盖了荷兰所有化学和化学工程的大学研究小有化学和化学工程的大学研究小组，共组，共147个，个，1991-1998年发年发表的所有文献，约表的所有文献，约18000篇。篇。The (10) universities with chemistry departments covered by this evaluation study are Leiden, Utrecht,Groningen, Amsterdam UvA, Amsterdam VU, Nijmegen, Delft, Eindhoven,

14、 Enschede (Twente), and Wageningen.材料和方法 引文统计：引文统计：从文献发表年开始，以从文献发表年开始，以3年为年为“时间窗时间窗”计算引文数量，例如计算引文数量，例如文献发表于文献发表于1991年，则计算引文是时期为年，则计算引文是时期为19911993年。并年。并且只考虑外部引文，排除自引情况。目的是为了聚焦与研究且只考虑外部引文，排除自引情况。目的是为了聚焦与研究小组近期小组近期/当前研究表现的影响力当前研究表现的影响力所有文献均来自于所有文献均来自于CitationIndex，CIpublication收录的杂收录的杂志，不包括报告和书刊。志，不包括

15、报告和书刊。材料和方法 作者为了用定量数据支持同行评议的结果，做了广泛的文献作者为了用定量数据支持同行评议的结果，做了广泛的文献计量学分析。计量学分析。 同行评议使用了同行评议使用了3个等级来评价研究小组的研究质量：个等级来评价研究小组的研究质量：5分分优秀优秀4分分良好良好3分分满意满意同行评议框架同行评议框架材料和方法 参与评估的研究小组涵盖了化学学科的所有领域，主要有分析化学、光谱学和显微镜学、计算机化学和理论化学、物理化学、催化、无机化学、有机化学和生物有机化学、生物化学、微生物学和生化工程 这些研究领域引文特征可能存在显著的不同。因此，为了对这些研究领域引文特征可能存在显著的不同。因

16、此，为了对研究小组的影响力进行公证比较，需要应用研究小组的影响力进行公证比较，需要应用针对研究领域的针对研究领域的规范化标准，尤其是规范化标准，尤其是“王冠指标王冠指标”（crownindicator）即）即CPP/FCSm材料和方法发表论文总数他引总数篇均他引次数期刊引文得分研究领域（或子领域）引文得分王冠指标材料和方法材料和方法 Hirsch认为，以上指数是常用的文献计量学标准指数，但存认为，以上指数是常用的文献计量学标准指数，但存在一定的问题，在一定的问题，h指数能够衡量科学家个体的广泛影响，也能指数能够衡量科学家个体的广泛影响，也能避免这些问题。另外，对于个体科学家来说，在避免这些问题

17、。另外，对于个体科学家来说，在wos上上h指数指数很容易获得。很容易获得。 作者认为：作者认为： P只度量了文献产量，而不是影响力只度量了文献产量，而不是影响力 C和和CPP尽管对文献计量学研究者来说可能能够通过数据系统直接获得，尽管对文献计量学研究者来说可能能够通过数据系统直接获得，但对于依靠但对于依靠WoS的研究者来说获取是很困难的。的研究者来说获取是很困难的。 文献计量学小组花大量精力清理数据，校正科学家个体的名字错误等等，文献计量学小组花大量精力清理数据，校正科学家个体的名字错误等等，在研究组水平这些问题更加复杂。这些技术问题在研究组水平这些问题更加复杂。这些技术问题VANRAAN（2

18、005）和和MOED（2005）已经讨论过了。）已经讨论过了。材料和方法 Hirsch认为如果个体科学家与其他很多人合著一认为如果个体科学家与其他很多人合著一些文章，些文章，C会被某些少数会被某些少数“big hits”的文章夸大。的文章夸大。 C对高被引综述文章的评价与原始研究论文评价对高被引综述文章的评价与原始研究论文评价更加不适合。更加不适合。 CPP尽管能对不同时代的科学家进行对比，但也尽管能对不同时代的科学家进行对比，但也是有利于低产者、不利于高产作者。是有利于低产者、不利于高产作者。材料和方法 综合考虑以上各个方面问题，作者强调了使用一组与综合考虑以上各个方面问题，作者强调了使用一

19、组与以往指标不同的且体现领域标准化的指标的重要性以往指标不同的且体现领域标准化的指标的重要性 领域和文献类型标准化领域和文献类型标准化“王冠指数王冠指数”CPP/FCSm尽管合著和尽管合著和“big hits”的问题可能同时出现，但在研究小组的水平上，这个的问题可能同时出现，但在研究小组的水平上，这个问题会弱化。综述文献的确比普通文献有更多的引文，但本文用问题会弱化。综述文献的确比普通文献有更多的引文，但本文用“文献类型标文献类型标准化准化”指数来解决这一问题。指数来解决这一问题。对于高产低产的问题，作者强调科学家和研究小组因不同领域和研究类型而对于高产低产的问题，作者强调科学家和研究小组因不

20、同领域和研究类型而论文产量也不同。论文产量也不同。Hirsch认为在估计认为在估计p，c，cpp过程中，引文数大于过程中，引文数大于y和最多有和最多有q篇引文的文章篇引文的文章数可以忽略。它的缺点在于数可以忽略。它的缺点在于y和和q的随意性，对科学家个体各有不同，需要进一的随意性，对科学家个体各有不同，需要进一步调整。步调整。材料和方法结果与讨论h=0.42C0.45H2比引文总数的量级稍微低一些。H指数和文献总数也具有相关性，但小于h指数和引文的相关性结果与讨论王冠指标和引文总数的相关性很小王冠指数与h指数的相关性也非常小结果与讨论 以上结果说明以上结果说明h指数具有指数具有“规模依赖规模依

21、赖”，而，而王冠指数不是依赖于规模的王冠指数不是依赖于规模的。结果与讨论H指数和王冠指数与同行评议的结果在很大程度上具有可比性结果与讨论该小组的CPP/FCSm得分为1.02所有h指数位于前25%的40个小组的CPP/FCSm平均得分是2.10王冠指数比h指数能更好的反映研究小组较低的绩效水平结果与讨论这些小组的CPP/FCSm得分为1.70所有h指数位于倒数25%的小组的CPP/FCSm平均得分是1.25王冠指数比h指数能更好的反映这类小组的高水平研究绩效Conclusion 大多数情况下，同行能够很好的甄别那些具有很大科学影响大多数情况下，同行能够很好的甄别那些具有很大科学影响力的研究小组。力的研究小组。 h指数能够凸显了引文的强大力量，因此作者能够预期指数能够凸显了引文的强大力量，因此作者能够预期h指数指数与同行评议之间存在的显著相关关系，尤其对于那些规模比与同行评议之间存在的显著相关关系，尤其对于那些规模比较大的研究小组而言更是如此。较大的研究小组而言更是如此。 因而，对于那些在学科领域因而，对于那些在学科领域“小小”而拥有而拥有“少量引文少量引文”的研的研究小组而言，本文认为，王冠指标是一个更适合的绩效评价究小组而言，本文认为，王冠指标是一个更适合的绩效评价指标。指标。Thank you！