微信订阅号
作者：杨红艳（中国人民大学人文社会科学学术成果评价研究中心主任助理、编审）
一、评价改革的推进与评价产品创新紧密相关
评价产品可定义为用于满足学术评价需求并可为评价判断提供依据的数据、标准、方法、工具、技术、平台等方面的集合。在整个学术生态发展过程中，评价产品具有一个关键的特性——中介性。以科研管理的应用场景为例，科研管理者希望通过考核调动学术研究积极性，部分评价活动是专门组织的具有一定个性化的活动，但更多的是借助一些现成的方法、工具与产品作为学术评价的依据。外在的、量化的评价指标是比较通用的、流行的标准。学术评价改革不能将评价产品的因素排除在外，评价改革的推进和相应评价产品的创新是紧密相关的。
目前的学术评价主要基于两大基本方法：同行评议和引文计量。同行评议从1752年的学术期刊评文中诞生，应用越来越广泛，基于同行评议方法形成了《复印报刊资料》、三大文摘、人才计划、青年基金、同行评议专家数据库等评价产品。引文索引由加菲尔德在《科学》杂志上提出，国内外应用非常广泛，形成了三大引文索引、核心期刊目录、引文数据库等常见的评价产品。还有结合以上两种方法与其他方法的综合性评价产品，例如大数据知识管理服务门户、方略学术评价数据库、领跑者5000、学术评论句等。
评价产品的研发和应用必定会系统地展现出对学术评价的目标、理念、方法、程序等各要素的理解和运用。学术评价的巨大变革离不开理念契合的评价产品的促进作用。当前评价领域受到诟病的诸多问题均与评价产品自身和误用问题有关。没有贴合当前评价需求的评价产品将延缓评价改革的进程，降低学术评价的效用。评价产品创新不局限于学理创新，更要促进实践创新，推动学术评价改革切实落地。
二、学术评价改革对评价产品的主要需求分析
学术评价改革对评价产品需求从两方面考虑：
一是政策方面。近十年来评价政策是一脉相承的，方向非常清晰且越来越明确，主要涉及评价导向、评价主体、分类评价、代表作评价、诚信评价、可重复性、数据库建设、中国特色等关键内容。其中数据库建设尤与评价产品密切相关。这些政策文件中同样的内容反复提及，从侧面反映出这些问题还没有完全解决，这是评价产品创新的重要需求。
二是学理方面。大量文献对评价改革需求与当前学术评价存在的问题进行了总结，反复提到的内容包括分类评价、评价主体多元化、内容评价、评价方法整合、评价管理制度、定量评价等内容。从学理上讲，这些内容均与评价产品建设存在千丝万缕的联系。
总结当前学术评价改革对评价产品的需求主要集中于以下几个方面：
（1）质量导向（原始创新、中国特色、代表作评价）评价数据缺乏；
（2）多元主体（市场评价、用户评价、社会评价、国际评价、第三方评价）参与不足；
（3）分类评价（学科分类、类型分类、不同评价场景）不够科学；
（4）数据未能全量化（规范化、多维度、中长期评价），即样本较小；
（5）产品开放便捷性较差（可用性、减少重复性、可持续性、共享性、公开透明、诚信档案、数据库建设）。
这些需求是创新或改进评价产品的重要方向。当前学术评价改革推进缓慢，其重要原因是忽略了评价产品对于改革的重要意义。以评价产品创新为“抓手”，将有利于加快推进学术评价改革的进程。
三、当前评价产品理念与应用的突出问题
当前评价产品理念和应用中存在诸多问题，也是组织学术评价改革进一步落地的一个重要方面，我们提炼并列举一些示例如下：
1.数据≠数字。
评价数据应该包含学术生产与评价活动全过程（包含采集、甄别、挖掘、处理、存储与应用等）中产生的数据，是多维度、多层次、系统化的评价资源。但在评价产品生产与应用的过程中，往往存在将评价数据和数量相等同，以及把评价数据等同于文献计量数据的误区。当前评价产品中数据占据主要的地位，因为在改革创新评价产品时，应摒弃这些误区。
2.定性+定量，如何才算结合？
定性和定量相结合评价是学界的广泛共识，但怎样实现两者相结合的评价却不是很清晰，也有一些误区。误区1：将定量指标错误理解为定性指标，例如将H指数错误认为融合了质与量。误区2：定量与定性简单加权、硬性合并，例如将定量与定性简单地“三七”或“二八”分配权重。误区3：定性只能作为定量的补充，例如部分评奖过程中，同行评议专家仅有一票否决权和适当增补权，但在其他过程中均无法参与。这些不够准确的理解将会直接影响评价产品及其评价效果。
3.间接的“硬性指标”，忽略对成果价值的直接判断。
例如，“以刊评文”、“五唯”等问题。“不唯”应该是以掌握全面的数据为前提，但在操作和实践中对“唯“这一概念的理解仍待进一步清晰。这些均应体现在评价产品的设计和建设中。
创新评价产品时，正确理解和运用评价数据，准确把握定量与定性评价的概念内涵是前提。成果为指向的评价产品，对成果创新和质量的判断是前提依据。将定性评价数据化（评价数据的语义化）应作为当前评价产品改进的重要一点，改进定性评价的不足须大规模的第三方专业评价平台。异构数据的集成（尤其是非结构化数据），推进评价数据的多元化与全量化。基于这样的思路创新评价产品，将推动学术评价实践逐步实现“基于大数据”的价值判断，从而解决当前学术评价中若干棘手的问题。
四、评价产品的现实尝试与未来展望
当前评价产品方面已有一定的新尝试，例如Open Review网站、替代计量学（Altmetrics）、突破性成果的开放式评价等，都是近年来的新思路，有些也在逐步形成新的评价产品。复印报刊资料坚持“以学术成果为指向，以同行评议为主导，以价值判断为引领，以数据分析为支撑”的新理念，也在积极探索一系列学术评价新产品。这为未来学术评价产品的进一步创新发展提供了条件。
未来的评价产品创新，尤其是在推动学术评价改革方面，至少有四个重要的发展方向：
（1）学术成果同行评议大数据平台
（2）学术评价全量化数据资源整合
（3）代表作评价模式探索
（4）以“择优”“激励”为目标的评价产品应用机制
然而，学术评价产品的创新涉及到复杂的因素，尤其是跨系统信息资源的整合，并非易事。推进学术评价产品的创新需要政策层面和管理部门的充分重视和大力扶持，以及相关机构的有效协作和投入，仍然任重道远。
（本文根据中国人民大学人文社会科学学术成果评价研究中心主任助理杨红艳编审2021年10月31日在“第五届中国学术评价高峰论坛”上的报告摘编）
