对照“柏林原则”,我们考察了国内有关网站、报刊杂志等媒体上发布的较为有影响的6个大学排名,发现我国大学排名存在很多需要改进的地方。这里考察的6个国内排名是:网大“中国大学排行榜”、广东管理科学研究院的“中国大学评价”、武汉大学中国科学评价中心的“中国大学综合竞争力评价”、中国校友会网联合有关媒体进行的“中国大学排行榜”、学位与研究生教育发展研究中心的“一级学科评估”、上海交通大学高教所“世界大学学术排名”。
排名目的:只有部分明确
在我国的大学排名中,只有部分提出了明确的排名目的。学位与研究生教育发展研究中心的“一级学科评估”的目的是通过科学、客观的评估,使各个学科点找准自己的优势和差距,推动学科建设,提高研究生培养和学位授予质量。
上海交通大学高教研究“世界大学学术排名”旨在发现中国大学和世界一流大学之间的差距,找出世界一流大学的特征和标准,为我国建设世界一流大学提供参考,同时期望能够对世界范围内的大学学术水平进行定量比较提供参考。
中国校友会网的“中国大学排行榜”拥有多重目的:为我国有关教育主管部门制定政策,促进高校竞争并提升办学水平和社会影响力,学生及家长报考院校、企事业单位选才及教育投资等提供参考,引导高校多为国家与区域经济和社会发展服务。
广东管理科学研究院的“中国大学评价”虽未明确提出,但从基于该排名而出版的《挑大学 选专业》一书来看,其目的是为学生选择学校服务的。而另外两个排名则未明确提出其排名目的。
这6个大学排名的目标群体基本上从排名的名称上就可以看出来:上海交通大学高教研究所“世界大学学术排名”对世界范围内的大学进行排名,其余排名都是针对中国国内的大学。
指标设计与权重:分类过粗,权重超标
我国在对大学进行分类排名方面亟待改进:绝大多数排名没有对高校进行分类或分类过于粗略。由于高等教育机构具有多样性,不同的高校有不同的使命,因此,对所有高校使用同一套指标体系进行排名是不合适的。在所考察的6个大学排名中,学位与研究生教育发展研究中心的“一级学科评估”分大的学科类(如理学、工学、农学、管理学等)适用了不同的指标体系。此外,武汉大学中国科学评价中心的“中国大学综合竞争力评价”对高校作了极为粗略的分类:分为重点大学和一般大学。显然,这样的分类仍然无法照顾到高校多样性并考虑到它们不同的使命和目标。另外4个排名都没有对高校进行分类。
我国的6个主要排名都提出了各自的排名指标体系,但只有中国校友会网的“中国大学排行榜”和上海交通大学高教研究所“世界大学学术排名”对指标作了较为详细的解释和说明。有些指标体系中还存在过于笼统而又未加说明、难以观测的情况,如广东管理科学研究院的“中国大学评价”三级指标中的本科生培养、硕士生培养、博士生培养、博士生创新环境等。
纵观我国的大学排名的指标体系,可以发现,排名的投入指标在数量及权重上都明显超过了产出指标。而且,在产出指标中又以科研指标为主,缺少对于教学效果即对学生的影响的指标。反映学生的变化的指标仅在中国校友会网的“中国大学排行榜”和武汉大学中国科学评价中心的“中国大学综合竞争力评价”中出现,分别是杰出校友和毕业生一次性就业率、全国百篇优秀博士论文、各类国际性全国性竞赛获奖数。这显然是远远不够的。除此之外,我国绝大多数排名在指标及其权重的稳定性方面存在两难:大多数排名都出于完善排名的目的而在不断修订其指标体系及权重分配,这同时造成了难以判断某个院校名次的变化的原因究竟是实力的变化还是排名方法的变化。
数据收集处理:需要更加全面
在我国的这6个主要大学排名中,只有网大“中国大学排行榜”、中国校友会网联的“中国大学排行榜”、广东管理科学研究院的“中国大学评价”(仅在1998等少数几年)公布了其具体的计算方法。另外,虽然多数排名在公布的报告中部分都提到数据来源,但完整、明确指出数据来源的只有上海交通大学高教所的“世界大学学术排名”。
由于这些大学排名大多未完整地公开其数据的获取渠道、转换和处理的具体方法步骤,因此难以依据柏林原则进行考察。这里仅粗略地考察各排名是否既包含客观数据,也包含主观数据。
所有这6个排名都包含有客观数据,并且以客观数据为主;包含主观数据的排名只有学位与研究生教育发展研究中心的“一级学科评估”、网大“中国大学排行榜”和武汉大学中国科学评价中心的“中国大学综合竞争力评价”。并且主观数据都是向有关人员(如大学校长、院士、著名学者、同行专家等)调查被排名学校的声誉。此外,中国校友会网联 “中国大学排行榜”虽采用了声誉调查,但却属于客观数据,因为其声誉指标是“国家声誉”(高校是否为国家副部级高校、“985工程”大学、“211工程”大学、国家重点大学和国家重点建设的西部地区14所高校,是否设有研究生院等组成)和“社会声誉”(由参评高校上一年度在新闻搜索引擎中出现新闻数组成)。
粗略的考察也可以发现其中有些做法是符合柏林原则的,如网大及学位与研究生教育发展研究中心直接联系有关院校核实数据;与此同时,也存在缺乏必要的规范和监督等问题。此外,我国的排名需要进一步收集不同渠道、代表不同立场的数据,从而形成一个对被排名院校的更全面的看法。
结果公布:缺乏必要说明
我国的大学排名在公布排名结果时,多数都没有指出排名在高等教育机构评估中的地位和功能;排名可以做什么,不能做什么,应该在什么程度上使用排名,如何使用等等都很少或没有提到。根据柏林原则排名应该提示其使用者:排名仅仅是评价高等教育的众多方法中的一种,并且不应该成为判断高等教育是什么和做什么的主要标准,仅仅只能作为其他评价措施的一个补充。
从结果上看,排名将高校中的各种复杂的工作最终归结为一个单一的分数及名次,这显然是有极大的局限性的。然而,在所考察的6个排名中,明确注明排名可能存在的局限、只是仅供参考的只有网大“中国大学排行榜”和上海交通大学高教所“世界大学学术排名”。
公布排名结果时应当同时让排名的使用者了解排名是如何进行操作的、排名结果是如何得到的、排名结果曾经出现过哪些问题、可能还存在哪些问题。在这些原则上,我国的有些排名还需要进一步大幅改进。
广东管理科学研究院的“2007中国大学评价”在《科学学与科学技术管理》杂志上发布时仅仅公布了排名结果,对于排名的目的、数据来源、指标体系、可能存在的问题都没有交代。
武汉大学中国科学评价中心的“中国大学综合竞争力评价”仅仅公布了指标体系和排名结果。而网大“中国大学排行榜”、中国校友会网的“中国大学排行榜”、上海交通大学高教所“世界大学学术排名”则在这些方面做得相对较好。
综合上述考察,可以看出,如果对照柏林原则的要求,我国的大学排名在很多方面还有待于进一步规范与提高:明确排名目的、地位和作用;对排名院校进行分类,并适用有差别的指标体系;使用多渠道的数据;将指标重心向院校产出,特别是学生的变化偏移;尽可能保持指标及其权重的稳定;在公布排名结果时,同时公布排名的数据来源、指标体系及处理方法,排名已出现的和可能存在的问题及局限性;建立适当的监督或顾问机构。(邹义欢 章建石)