期刊超越指数:评期刊,不等于判论文!

科技工作者之家  |   2022-08-02 17:11

日前,中科院文献情报中心(以下简称文献情报中心)发布通告称,2022年,分区指标不再采用“三年平均影响因子”,而是替换为“期刊超越指数”(升级版)。

2019年,文献情报中心首次提出“期刊超越指数”,包括基础版和升级版,升级版的优势在于弱化对预制学科体系的依赖、体现期刊的学科交叉性、突破均值指标的瓶颈等。试行3年后,未来将只采用升级版“期刊超越指数”。

文献情报中心计量与评价部主任、研究员杨立英告诉《中国科学报》,发布“期刊超越指数”,核心是为了修正过去期刊影响因子计算的局限,以更好地反映期刊影响力。值得注意的是,它并不是万能指标,尤其不能绝对决定科研人员某篇论文质量和科研水平。

期刊超越指数如何计算?适用场景是什么?对科研评价体系改善有何助益?围绕相关问题,《中国科学报》专访了文献情报中心计量与评价部主任、研究员杨立英,副主任、副研究员沈哲思,以及研究员李梦辉。

影响因子的局限与误用

《中国科学报》:分区指标为什么不再采用“三年平均影响因子”?

沈哲思:从计量的角度,我们看到了影响因子的问题所在。

首先在计算方式上,影响因子计算时分子分母所涉及的论文是不一样的,分母只考虑研究性和综述性论文,而分子则是本期刊所有论文(包括研究性论文、综述和评论文章等)的引用情况,这使得一些期刊可能通过一些“操纵”,如发更多的综述、评论等方式提高影响因子,因为综述的被引频次相对会比研究性论文多一些。

影响因子只关心论文发表后两年中论文引用情况,这对于一些需要3-5年,甚至更久才能体现价值的学科有些不合适。

其次,是引用分布偏态的问题。事实上,一本期刊不同论文的引用次数是呈偏态分布的。也就是说,是否包含一篇高被引文章,对期刊影响因子的波动影响非常大。举个例子,某期刊2020年影响因子达到508,可能是迄今为止最高的影响因子,关键在于有一篇文章接近15000的引用量,将其剔除后,影响因子马上降到195,再剔除另一篇引用量为5600的论文,马上降到74。

这种方式会使得一些期刊“投机”,多发超高被引文章,快速提高影响因子。事实上,大多数论文的引用次数均低于影响因子。这种引用分布高度有偏,篇均引用无法反映期刊整体影响力。

《中国科学报》:最近,科睿唯安发布的最新影响因子名单,有一些期刊影响因子快速增长,引来国内学者的广泛质疑。一时间,大家纷纷吐槽“苦影响因子久矣”,您如何看待这个现象?

沈哲思:我们观察到,今年国产期刊影响因子快速增长,有一部分原因在于发表的一些新冠相关论文带来的巨大引用。其实像《柳叶刀》《新英格兰》等国际医学顶尖杂志影响因子也有猛增,也是这个原因。一旦把这些论文排除,影响因子其实又回到了原来水平。

发表热点论文、综述性论文,都是期刊快速提高影响力的一些做法。

需要强调的是,引用次数的高,只能说明论文影响力比较高,不能直接代表其价值和水平也很高。

《中国科学报》:这会导致越来越多科研人员追寻热门学科,而冷门专业却无人问津,久而久之带来学术内卷和学术资源的分配不均状况?

沈哲思:我觉得是这样,因此评价要区分学科,热门学科期刊中倒数的影响因子可能也会比冷门学科期刊中最高影响因子还要高。比如数学学科与材料学科的影响因子就差异很大,但并不能代表数学期刊水平不行。

不同学科的引用范式(比如参考文献长度、引用周期)不同,被引频次有较大差异,不能直接跨学科比较。此外,领域内部(学科内部)也存在差异。

期刊超越指数的修正

《中国科学报》:此次发布的“期刊超越指数”的优势是什么?它是否能超越影响因子的局限性?

沈哲思:提出“期刊超越指数”的初衷,是改进影响因子所存在的问题,更好地评价期刊影响力。

期刊超越指数的计算机制是,从期刊选择一篇论文,其引用数大于从其它期刊选择一篇相同主题、相同文献类型论文的引用数的概率。

就像两个班级比身高,随机从A班挑出来的同学都比B班随机挑出来的要高,那么,A班的身高相对B班高。

这种计算方式避免了分子分母不一致问题,比如,研究性论文之间比较、综述性论文之间比较,两者之间不比,这样刊发大量综述性论文的期刊不再直接占优势了。

同时,也更好地解决偏态问题,高被引论文和普通论文在比较中的作用是相同的,一篇高被引论文的作用被大大削弱。此外通过提取WoS全库论文及其引用关系,构建了论文主题层级的分类体系,把学科划分的更细致,每篇论文有其归属的研究学科和主题,使得我们的分类比较更加精准,避免了把两个不同主题的论文放在一起比较。

《中国科学报》:“期刊超越指数”如何更科学合理地体现期刊影响力?

沈哲思:我们说一本期刊比另外一本期刊的影响力高,直观感受是每本期刊随便挑一篇文章出来的影响力,都比另一本期刊挑出来的文章的影响力高。

期刊超越指数,就特别要求每篇论文引用率高,如果只有单篇或几篇引用率高,整体上就不占优势了。

换句话说,影响因子是对比两本期刊的平均引用次数,期刊超越指数则是期刊的每篇文章引用都要互相对比。

但文章是不是绝对好,不能用期刊超越指数来评价单篇论文,使用评价指标的时候还是要注意这个问题。

任何“因子”都不能用来衡量单篇研究水平

《中国科学报》:2019年,《自然》杂志还提出了“颠覆性指数”,用来评价论文研究水平,在您看来,无论是影响因子,还是期刊超越指数它的核心作用是什么?

李梦辉:这些“因子”最开始设计主要还是评价期刊的,只是后来慢慢被误用了,原来的目的固化了。

影响因子更多是评价期刊,所以并不适合去评价单篇论文质量,评价单篇论文质量,还是需要通过同行评议来进行判断。

从影响因子和超越指数指标来看,它其实评价的是一个影响力,是否受到了更多的关注。而“颠覆性指数”评价的是一个成果,相对于旧的成果,它在内容上的新颖程度和开创程度。

《中国科学报》:该如何使用期刊超越指数?如何看待它在科学研究评价中的作用?

杨立英:任何科学评价指标,没有用到合适的应用场景都会出现问题。科研界对影响因子质疑分成两个层面:一是影响因子指标算法的弊端,但更多是影响因子被过度使用。

超越指数解决了影响因子指标算法的主要弊端,但它不是万能指标,有它的适用场景,需要合理使用。期刊超越指数的应用,旨在评估SCI期刊的学术影响力,可为学术投稿提供参考、为科研管理部门的宏观判断提供支撑。

《中国科学报》:此次变化,对国内科研评价体系将有怎样的助益呢?

杨立英:我们的“十四五规划”中有一项重要任务就是建设中国特色的科研评价体系。

中国特色评价体系指评价导向服务中国科研管理、评价数据包含中国数据、评价方法体现中国贡献。实际上,十三五期间我们一直围绕这个目标,开展了一系列工作:《国际期刊预警名单》体现了服务中国科研管理的导向、超越指数就体现了期刊评价方法的中国贡献。

2022年,我们推出一系列方案,继续强化上述中国特色,尤其是将中国数据纳入评价体系中,例如发布《中文期刊分区表》,实现中英文期刊同质等效评价。

  • 莫易
    0
    学习科学知识普及科学技术建设美好生活
  • 新用户5708
    0
    学习科学知识普及科学技术建设美好生活
  • 莫巴
    0
    学习科学知识普及科学技术建设美好生活
  • 莫小白
    0
    学习科学知识普及科学技术建设美好生活
  • 莫斯
    0
    学习科学知识普及科学技术建设美好生活
  • 徐业晓
    0
    学习科学知识普及科学技术建设美好生活
  • 李宝莲
    0
    学习科学知识普及科学技术建设美好生活
  • 杨军
    0
    一寸光阴一寸金,寸金难买寸光阴。
  • 杨军
    0
    学习科普知识,传播科学思想,弘扬科学精神,提高自身素养。
  • 杨军
    0
    科界是很好平台,使我学习,使我受益匪浅!
加载更多