|
作者：Chris Tachibana / 文 赵红蕾 / 译 来源： 发布时间：2018-7-3 11:42:43
| ||||
Ushma Neill是纪念斯隆—凯特琳癌症中心（MSKCC）科学教育与培训部门的副主席，她提出，决定顶级科研机构做出雇佣和晋升，以及资金支持决议的一个问题是：“候选人是否将会到达其所在领域的最前沿？”她表示，最重要的一点是这些科研组织需要能够促进科学向前发展的成员。她说，一般而言，评估候选人潜力的方法，通常在很大程度上是出于“直觉”，但这种情况正在发生改变。
对学科的影响仍然主要是通过发表作品来衡量。尽管高校不会为雇佣或者晋升设置发表作品数量，因为严格数量的限制并不能反映出作者的学术贡献，也无法反映出发表作品是研究综述还是原创发现。另外，不同领域因其工作形式不同也无法一概而论。有些领域看重同行评议和会议论文，有些则强调书籍和专著。非正式研讨会议会提出每年目标，比如博士后人员发表几份，而正式成员要发表五份或者更多。然而，Neill指出，质量远远要比数量更重要。一项综合的、被广泛征引的研究比起从一个单独项目中摘下多篇次要文章更有价值。
丹麦哥本哈根大学理学院负责科研工作的副院长Morten Pejrup说，学术影响力还通过顾问和同行推荐以及研究、指导和教学奖项来衡量。但他说，这些“老派的方法”可以辅之以新的工具。
超越传统衡量方法
在对求职者进行评估时，Pejrup会检查Scopus，这是一个经过同行评议的期刊文章、著作和会议记录组成的订阅数据库系统。“你可以看到引用、期刊影响因子以及作者的排序，”他说。“但你也可以看到，一个人是否总是与相同的人一起出版，或者是否为不同的群体做出过贡献”。诸如Scopus或web of Science之类的出版物数据库可以包括“h因子”和“m因子”等文献统计学工具，这些工具结合了出版物和引用数量的测计方法来表征影响力大小。
哥本哈根大学理学院的高级执行顾问Trine Buhl Monty指出，衡量学术成果的趋势在一定程度上是由资助者推动的。例如，英国最近制定完成了《2014年科学研究卓越框架》（REF 2014），该决议旨在推进大学的研究质量及其对经济和社会的影响。除此之外，此项决议还有影响科研资金支持的功能。Buhl Monty说，“地平线2020”（Horizon 2020）是欧盟最大的研究和创新资助项目，它强调与部门间伙伴合作关系以及开放科学相关的影响，以确保项目结束后仍会继续发挥影响力。作为回应，一些教师现在将产学研协作、开放获取发表作品和开源软件归入“科研成果”。
华盛顿大学圣路易斯医学院的图书管理员Cathy Sarli专门从事科研影响力评估工作。除了出版物、引用量以及期刊影响因素（以两年内被引用于某一给定期刊所发表文章中的平均次数为计）之外，她的研究涉及多样化评估。她说，影响因素是在20世纪中期发展起来的，用来比较同行评议的期刊，而不是个别的研究者。“相关组织正在超越传统的原始数据，”她说。“他们正在利用其他指标，开发自己的资源。”
一个例子是相对引文率（RCR），它是由美国国立卫生研究院（NIH）最近开发的，用来衡量一篇文章的影响力。今年，NIH公布了计算这个指标的免费工具iCite。相对引文率可作为与同一领域其他论文进行比较的指标。这样就可以在具有不同专业的科学家之间进行比较，这种比较在分配内部资源、任命主席和领导职位以及提供资金时，往往是必要的。这些决定可能需要比较“苹果和橘子，有时是苹果和西葫芦，”Neill说。
2015年，Neill和纪念斯隆—凯特琳癌症中心的两位同事发表了他们的方法，利用来自Scopus和其他来源的数据，对不同领域和不同阶段的研究人员进行考量。她解释说，“我们希望创造一个公平的竞争环境，用来比较诸如结构生物学家和外科医生的生产力和影响力。”Neill指出了另一个追踪学术生产力的潮流引导者：纽约大学Langone医学中心。
研发仪表板和数据集系统
纽约大学Langone医学中心用以追踪学术及临床绩效的仪表板系统开始于2007年任命Robert Grossman为院长兼CEO。Grossman想要标准化的报告来指导战略决策。纽约大学Langone医学中心的信息技术团队构建了一个系统，该系统可以显示来自整个组织的数据。图形显示了临床评估、科研绩效、教学统计数据以及资金支持情况。负责科研实体及战略的副总裁Laura Ahlborn表示，对于衡量基础研究，仪表板系统提供四个方面的指标：资助、出版物、创新(如专利)和效率(例如，每位全职员工的生产率)。管理者使用仪表板来跟踪各部门的业绩，以及每一位成员。
“我们使用仪表板指标来制定战略决策，确定我们的优势和劣势，并指导我们把时间和资源投入何处，”纽约大学Langone医学中心负责科学研究工作的高级副主席兼副院长、该中心的首席科学官Dafna Bar-Sagi表示。“仪表板显示出一段时间内的表现，所以它对监测教师的职业轨迹也很有用，并可据此向他们提供建议。”
Ahlborn和Bar-Sagi强调仪表板系统是与人的判断力结合使用的。“学术上的努力不能严格地以数字来衡量，”Bar-Sagi说。“因此，仪表板系统是成员和领导之间进行持续交流的诸种要素之一。”
两人都表示，人们对衡量学术影响力的工具很感兴趣，而且他们经常划定范围要求提供有关仪表板系统的信息。毋庸置疑，这需要做大量工作。设置仪表板系统需要对基础结构进行初始投资，并就收集哪些数据以及系统如何相互通信作出决定。仪表板不断更新，包括添加“相对引文率”作为衡量指标。Ahlborn说，开发和维护这个资源是可行的，因为纽约大学Langone医学中心拥有一种量化、精确、数据驱动的决策文化。
追踪受训人员
从2006年开始，丹麦政府决定增加投入以扩大其大学博士生的招收。学校使用了增长数据（其中大部分是自生成报告数据）来追踪他们的毕业生是如何在教育、研究、政府和其他部门找到工作的。鉴于公众对利用纳税人的资金让非丹麦人接受教育的关注，这些大学还要知道国际学生去了哪里，以及他们得到了什么工作。
“我们必须透明，向决策者和纳税人展示我们正在生产的产品，”Pejrup说。“理科占了大学预算的40%。”Pejrup的部门现在已经编制了两份实质性报告，其中载有关于硕士和博士毕业生的纵向数据：他们从事的工作、他们工作所在国家以及他们的工资。例如，通过说明该国是否正在为国内和国际就业市场培训适当数量的博士人才，来为研究生课程安排、培训战略和政策制定提供信息。
Buhl Monty说，这些报告还有助于通过展示学术界以外的职业选择来为博士生提供指导。对于想做教员的学生来说，这些数据可以指明去到另一个国家找到工作的重要性。“它向学生展示了什么是可能的，”她说，“并以此来调整他们的预期。”
Pejrup还在实施一项他评估科学贡献的措施，并希望使其得到广泛传播。“更多的大财团正在制作出版物，”他说，“例如在物理学或基因组学合作方面。除非有人是第一作者，最后作者，或通讯作者，否则很难知道他们贡献了什么。”在生物信息学等领域，发表作品可以有很长的作者名单。需要知道是谁做了最重要的工作，以此来对每一位协作者进行评估。
Pejrup希望看到对科研贡献的描述在学术报告中变得更加标准化。他一开始就要求博士论文中插入出版文献作为章节，并涵括学生对文献所作出的综述。“许多期刊现在需要这种描述，”Pejrup说。“将其作为公开信息，有助于人们对作者的工作进行评价。”
个别科学家也在开发自己的绩效测量指标。在华盛顿大学水产和渔业科学学院，Trevor Branch副教授创建了一个数据库，其中包含了他所在领域中被引用最多的论文。它包括一个测量标准，用于评估个人对在与多位作者进行合作研究中所作出的贡献。这个计算并不是自动进行的，但已经在2016年的概念验证论文中进行了测试。Branch说数据库主要是一种爱好，但他认为它在战略上很有用。“我是一个建模师和数据分析师，”他说。“这个数据库能帮我了解大局——我在哪里可以发挥最大的作用，哪些领域是别人感兴趣的，我应该做什么，我应该在哪里发论文？”
联合信息图像和社交媒体
开罗美国大学生物信息学和基因组学副教授Ahmed Moustaf表示，为你个人的研究系统添加测量指标是很简单的。在他的2013年任期档案中就包括来自Impactstory的数据，这是一个基于网络的工具，用于评估科研成果的承担份额以及引用情况。在其在线履历中的发表作品清单，采用Altmetric这一数字科学公司的彩色甜甜圈图表形式，显示出他所发表成果的传播情况。这些评估举措反映出了公共传播与公众参与，资助者和机构现在将这一领域也纳入学术成果评估体系之中。
Moustafa认为，这些信息丰富了他的档案材料。“这很受欢迎，”他表示。“我的评审委员会在把我的终身教职申请提交给院系和学校的时候使用它。报告介绍了我在科学界的研究情况，并对我的工作做出了全球知名度以及重要性方面的评估。”
Moustafa说，设置Impactstory和Altmetric这些工具不需要花费太多时间和精力，而且更新是自动的。他还利用这些信息向潜在的合作者做自我介绍。他指出，其所在的生命科学领域中，资助提议将Altmetrics或Impactstory以及其他创造力评估系统所提供的信息作为衡量标准的情况并不罕见。
Branch已将社交媒体活动纳入到其资助申请的参与计划中，而报告却反应出评审人员意见的毁誉参半。他说，推广和参与可以通过多种方式进行。一些人可能会倾向于使用社交媒体与社区互动，但其他人可能更喜欢公共活动、博客或其他方法。“要了解什么类型的科学推广方式对你有用，”他说。但是，当你有机会推动工作进展时，在适当地方有一个接触渠道会很有帮助。
当Branch的学生Cole Monnahan在2014年发表了一份关于蓝鲸的研究报告时，他们知道公众会感兴趣，所以Branch在社交媒体账号上宣传了这一报告。“这简直是一飞冲天，”他说，结果是获得了一次BBC专访，又被其他新闻媒体采用报道。由此实现了面向更多公众的传播，但这种方法之所以有效，是因为这个主题是关于大型海洋哺乳动物。“同一位学生发出一份关于统计方法的论文，可能会对这一领域产生更大的影响，”Branch说，“但它不会有那么大的新闻价值。”
正确使用评估工具：始终将其置于相关信息之中
随着学术绩效评估工具的更新换代，专家们强调，数量指标只是科学影响真正发生作用的一部分。“这些测量方法从来不是在真空中使用的，”Neill表示。“它们增加了推荐信、教学经验、科研经费申请成功率以及机构服务情况。”一份真实的发表成果概况可能会得到候选人面试，Pejrup指出，但是被面试者对研究目标进行描述的能力以及谈话中的印象才是真正重要的。
Sarli同样认为，数字和图表是很有说服力的，但应该始终结合其他相关情况一起考量。当使用文献计量学或其他表征指数时，她建议提供一份关于评估工具及其局限性的描述。她说，定量指标应该始终是关于你的科学影响力表征的一部分。“对于衡量绩效、质量或影响力，单独一项指标是不够的，”她说。“不要单单用数字来讲述你的故事。”■
Chris Tachibana是美国西雅图和丹麦哥本哈根专题科学作家。
DOI: 10.1126/science.opms.r1700173
鸣谢：“原文由美国科学促进会（www.aaas.org）发布在2017年2月10日《科学》杂志”。官方英文版请见http://www.sciencemag.org/features/2017/02/new-tools-measuring-academic-performance。
《科学新闻》 (科学新闻2018年6月刊 科学·职业)
|
||||
| 发E-mail给： | ||||
|
| 打印 | 评论 |
| ||||
