当前位置:首页 > 新闻

融合专家判断与客观数据的学科评估

2020-11-03 来源:教育部收藏

  学科评估是一个世界性难题,其评价体系往往呈动态演化特征。我国的学科评价体系经历了“螺旋行进”于主观评价与客观评价之间的过程。建国初期,学科评价多采取基于专家评议的主观评价体系,但随后出现了学派之争,导致了少量压抑后进、有失公允的评价。上世纪90年代伊始,南京大学率先推进基于客观引用数据的评价体系,在当时推动了评价的客观化、定量化。但随后学术界乃至行政部门为其客观性和操作简便性所倾倒,把客观评价体系推向极致,而同行评议的分量逐渐削弱。日积月累,对以定量指标为核心的评价体系怨声渐起,引发了我国从客观至上的评价体系向主客观结合的评价体系的转变。学科评估也历经了上述介于主观评价与客观评价的博弈过程。近日公布的《第五轮学科评估工作方案》(简称《工作方案》,其指导思想在于:深入贯彻中共中央、国务院《深化新时代教育评价改革总体方案》精神,遵循教育规律,扭转不科学的评价导向,加快建立中国特色、世界水平的教育评价体系。笔者针对该工作方案,有下述四点感触。

  一、注重传承、但彰显创新的评价体系

  《工作方案》构架了一个注重传承、但彰显创新的评价体系。具体说来,可梳理出五项传承与五项创新。

  五项传承是:一是评估的组织方不变,仍为教育部学位与研究生教育发展中心;二是学科评估的逻辑框架不变,仍取一级学科整体水平评估的基本定位;三是学科评估的核心指标不变,仍以“质量、成效、特色、贡献”为价值导向;四是学科评估的评价方式不变,仍采取以定量与定性评价相结合为基本方法;五是评估结果的发布形式不变,仍采取按照分档的粗粒化发布方式。五项传承得益于既往业绩,包括:历次评价的成功,使得学科评估的权威性、重要性和声誉依赖度日增;与院士评审、自然科学奖评审、基金委人才项目评审一起,构成了我国科教界的重要评审标杆;专业化评估队伍的形成,该队伍行事低调、作风扎实、数据清洗认真;具有中国特色的评估文化形成,以融合性评价、依托广泛共识、操作性强、平抑舆情出色而闻名。

  五项创新是:一是在客观数据展示上采取结构性证据链,充分运用“融合评价”,建立专家“元评价”制度;如在教育与育人方面,把人才培养质量放在首位,构建“思想政治教育成效”“培养过程质量”“在校生质量”“毕业生质量”四维度评价体系。二是在学术贡献划分上提出归属度原则;既避免“一稿多投”,又避免“学科壁垒”;鼓励学科交叉融合和学科生态优化,确保跨学科成果合理使用;教师成果按署名单位认定、不随人走,抑制人才无序流动。三是在指标权重上遵循重质量的原则,评价科研水平不唯论文和奖项,评价学术论文聚焦标志性学术成果,采用“计量评价与专家评价相结合”“中国期刊与国外期刊相结合”的“代表作评价”方法,避免在收录论文方面数豆子,按照不同学科领域的习惯来衡量学术成果的影响力。四是在评估结果呈现上采取多元化优化分档,多元呈现评估结果,分类发布总体结果与提供单项评估结果相结合;设置“代表性学术著作”、“专利转化”等指标,对科研成效进行多维度评价。五是注意到不同学科的体容量特征,考虑门槛高度与临界质量的辩证关系,探讨如何在高门槛学科(如核能、航宇、天文)避免由于学科点数量太少而造成的高端零和博弈陷阱,以及如何避免在连片学科中由于区别度较弱而产生的选择性堆积行为。 

  二、重公正,但涵养特色的包容范式

  学科评估的核心在于保障评估指标体系下各个学科的平等性。我们要注重公正,但也要注意形成包容性范式,可以涵养不同的学科特色。在评估时应注意不能磨平各个学科的特色,而是做到“主体等同对待,特色有别陈述”。坚决不能搞“横向到边、纵向到底”的一刀切逻辑。要对不同类型的学科采取不同的分类评价范式。要强化分类特色评价,按一级学科分别设置指标体系,充分体现办学定位与学科优势。

  为做到这一点,评估体系的设计要采取包容范式,体现在:一是有充分数据支持的专家评审(well-informed expert review);二是专家充分酝酿规则下的数据注入;充分运用基于定量数据和客观证据的专家融合评价方法,坚持代表性成果专家评价与高水平成果定量评价相结合;三是留出特色发挥空间,采取规定字数下的自选风格的描述语言;四是多维度评价,注重多元评价,采取多维方法。工作方案中强化了“代表作”和“典型案例”评价,设置开放性留白,充分体现办学定位与特色贡献。

  三、重证据,但适度柔化的指标设置

  目前,“五唯”已经成为科教界广为讨伐的现象。但反“五唯”并不是反“指标”,更不是反“证据”。我们要承认客观证据的必要性,也要承认一些良好指标对被评估对象的概括能力。反“五唯”的核心在于反“唯”,反对那种“一俊遮百丑”或“一丑掩百俊”的做法,反对一刀切的评价方法。数据是需要的,但断章取义地抽取数据是不对的。以人们经常引用的ESI数据为例:在数学领域,我国大学按照十年累计学术影响力排序为:山东科技大学、哈尔滨工业大学、曲阜师范大学、复旦大学、东南大学、北京师范大学、北京大学;按照十年累计学术产出的排序为:北京大学、山东大学、复旦大学、北京师范大学、南开大学、华东师范大学、浙江大学。任何一位对我国数学领域的学术地貌图有研究的专家都会认为第二份单子(按学术产出排序)要比第一份单子准确。但大多数排名机构却往往以第一份单子,甚至将第一份单子中的学术影响力除以第二份单子中的学术产出(即单位学术产出的学术影响力)来作为其排名指标。于是就产生了US News的最新排名中将曲阜师范大学评为第一,北京大学评为第二的结果。与大多数的学科以学术影响力论英雄不同,数学工作越为深奥,能从学术上看懂甚至听懂的人就越少。数学名校常以纯数学见长,但其引用次数往往远小于应用数学的工作;另外,还有冷门与热门的不同,数学中与“人工智能”、“数据科学”或“动力系统”有关的论文的引用往往比对“数论”、“拓扑”这些分领域要大得多,因此一些理工科大学、师范大学的数学论文的引用也不见得比数学强校低。有鉴于此, ESI引用数不能作为评价所有学科的唯一标准。

  对教师队伍的评价也是一样。在当前版的工作方案中,不设人才“帽子”指标,采用“队伍总体结构与代表性教师相结合”的方法评价教师队伍质量,重视青年教师队伍情况。评价教师不唯学历和职称,避免了以往片面以学术头衔评价学术水平的做法。

  四、重专家,但切断利益的同行评议

  公平性是评审的计量基础,专业性是评审的权威体现。它们在所有的评审中是第一位的。对成果的评价来说,其下一层指标是颠覆性、适用面和影响力。对评估程序来讲,其下一层指标是客观性、逻辑性、能动性与灵活性。同行评议是各国通用的主观评价手段、其评价的基础是学术价值观的共识性。一个好的同行评议注重了专业性,还应考虑其公正性。我们应该尊重专家,但需要化解在同行评议中可能出现的非对称利益。学科评估提出了有益的举措。

  在中国,同行评价的四个公正性障碍是:学术关系网,这主要指专家之间的学派归属、传承关系、合作关系等;利益冲突,这主要指评审专家与评审对象之间可能有的利益关联与利益输送关系;群体博弈,这主要指多个学科由于共同的评估利益而采取的一致性博弈行为;专家选取的权威性,这是指因为一刀切地避免利益冲突,而产生的二流评一流的现象。前三个公正性障碍与专家之间、专家与评审对象之间的利益链有关。解决方案有两个,一是切断利益链,二是造成利益均等,这些都可以消除同行评议中的非对称利益。(浙江大学发展委员会主席、中国科学院院士、国家自然科学基金委员会原主任 杨卫)

(责任编辑:曹建)