对大学排名的质疑由来已久，但研究中对这些质疑的梳理尚不系统。其中包括了有学者撰文表示，这些排名并不具有参考价值，无法体现出大学真正的质量。例如，针对上海交大的ARWU排名，法国诺贝尔奖获得者Albert Fert就提出了批评，认为这一排名远远低估了法国的学校，过分关注诺奖、菲尔兹奖，以及在《自然》和《科学》上的发表，并对整合型的实验室没有相对应的认可一事感到并不公平。[8]法国本身也在抗拒过分以英语发表为导向人才培养模式，认为这样会有损个体的学术自由。[9]
经过笔者整理，学界对高校排名的主要批评观点主要分为两类，第一类主要集中在统计方法上，第二类主要集中在其社会影响方面。
（一）方法论上的质疑
方法论上的质疑主要集中在统计的方式、数据收集的方式和所定义的指标上。
首先是数据的有效性。有些排名采用的是全部客观数据，有些则加入了主观的声誉调查等数据，有些甚至采用了大学提供的数据，使得学者们质疑数据不公开不透明。马金森教授甚至认为，有时学校提高了声誉并不一定是由于提高了科研表现，也可能是学校市场或公关部门通过其他方式努力的结果[10]。因此声誉的排名并不能体现真正的学术水准。
第二是标准选择的信度问题。整齐划一的标准选择其实并不一定有利于学生和社会了解学校复杂的特性。有学者指出，很多排行榜运用的指标及其权重并不基于理论的研究，而是由主要承担排行的公司或团队自行定义的，科学性的缺乏是一个值得思考的问题。[11]
第三是统计畸变。即一个指标的变化很有可能引起总体排名的巨大变动，牵一发而动全身。两个各方面指标都相当接近的学校也可能因为某一指标的差异而出现巨大的排名结果差异。马金森教授表示权重的不公平也可能造成更严重的等级分化。[12]
第四是没有体现充分的复杂性。例如学者Amsler教授就提出应该使用差异化的指标。[13]阿特巴赫教授也提示所有高等教育领域的从业人员，那些注重本科教学、特殊学术项目、精而专的研究计划，还有对弱势群体学生提供入学机会的机构并不一定会在这一体系中得到嘉奖和体现，而这些特质恰恰是高等教育需要鼓励的。[14]
第五是标准的多重共线性。很多学者认为这些标准里出现了相当多的指标冗余，评价的是同一个维度的内容，却分了几个子项目，实际上则巩固了这一方面特别有优势的学校的地位。有些指标也出现了相互矛盾的情况。
第六是循环性。即制定标准的人可能会选择惠及自身的标准，从而进入了鸡生蛋蛋生鸡的循环，好的学校越来越好，而没有在榜单上体现优势的学校会因为想要较高的名次而进行投机。
这些统计学上的质疑主要集中在排名的结果上，即排名是否客观公正地反应了学校的综合实力，这些指标是否具有一定的学术性和科学性。排名的科学性会影响公众对排名的信服程度，一般民众会直观看待排名结果而不去深究其指标背后所简化的价值，但事实上每一个指标都代表了排名的机构对高等教育本身的认识、目标定位和所承载的社会角色。