FAQ: Университетские рейтинги

В последние десять лет построение и использование рейтингов университетов стало глобальной модой. Появились и регулярно появляются новые мировые образовательные рейтинги, а также рейтинги вузов отдельных географических регионов (Европа, Азия) и стран. Эта мода затронула и российскую систему образования, и для некоторых вузов повлекла достаточно неприятные последствия, вызвавшие массовые протесты. Однако спадать волна рейтингов пока не собирается.

Как устроены университетские рейтинги, почему они стали так популярны и чем грозит их распространение?

1

Готовый рейтинг устроен просто: это упорядоченный список университетов, обычно перечисленных от наиболее успешных к наименее успешным. Место конкретного университета в рейтинге определяется интегральным показателем (индексом), который

вычисляется на основе значений нескольких непосредственно измеряемых характеристик университета.

2

В настоящий момент три мировых рейтинга университета можно выделить в качестве самых влиятельных: Академический рейтинг мировых университетов, который часто называют Шанхайским рейтингом, Рейтинг мировых университетов QS и Рейтинг мировых университетов «Times Higher Education». Все три рейтинга ежегодные, первый начал публиковаться в 2003 г., второй в 2004 г., третий в 2010 г.

Чтобы показать, из чего складывается рейтинг, возьмем индикаторы и схему их агрегации для самого раннего — Шанхайского рейтинга:

• выпускники университета, получившие Нобелевскую премию или медаль Филдса (вес 10%);

• сотрудники университета, получившие Нобелевскую премию или медаль Филдса (вес 20%);

• высоко цитируемые исследователи в 21 широкой дисциплинарной области (вес 20%);

• статьи, опубликованные в журналах «Nature» и «Science» (вес 20%);

• работы, проиндексированные Расширенным индексом научного цитирования и Индексом цитирования в социальных науках Web of Sceince (вес 20%);

• академическая продуктивность университета в пересчете на одного человека (вес10%).

Расчет индекса осуществляется простым сложением взвешенных значений отдельных показателей.

Как видим, конструкция одного из наиболее известных и влиятельных мировых рейтингов университетов весьма проста. То же в полной мере относится и к остальным двум из «большой тройки», не считая того, что в них все-таки несколько больше показателей.

3

Почему появились и распространились рейтинги?

Первые рейтинги университетов (точнее, рейтинги колледжей с бакалаврскими программами) появились в США в начале 1980-х гг., а в Великобритании в начале 1990-х. Появление рейтингов университетов пришлось на период масштабных неолиберальных реформ государственного сектора («тэтчеризм» и «рейганизм»). Эти реформы коснулось и образования. Основные элементы этих реформ, и фоновые факторы, которые сопровождали их проведение, были таковы:

• Усиление государственного контроля за образованием; требование к университетам обеспечить определенный уровень качества образования и других видов деятельности, а также способность быть в состоянии доказать качество своей работы.

• Стремление сделать работу университетов более прозрачной и подотчетной в первую очередь государству, но также и другим заинтересованным сторонам: потенциальным и нынешним студентам, грантодателям и т. д.

• Сокращение государственного финансирования вузов, стремление государства оптимизировать его — перераспределить средства в пользу более перспективных вузов, заставить вузы сокращать расходы, повышать свою экономическую эффективность;

• Массовое высшее образование; повсеместная ре-интерпретация высшего образования как услуги, оказываемой потребителям-студентам на контрактной основе и, соответственно, рост конкуренции между университетами на национальном, региональном, международном уровнях, в которой вузы сами охотно используют рейтинги для саморекламы;

• Интернационализация высшего образования и потребность иностранных студентов, работодателей, представителей академии и других заинтересованных сторон в информации о положении университетов в международном масштабе.

Jan Sadlak и Nian Cai Liu (eds.). 2007. The World-Class University and Ranking: Aiming Beyond Status. Cluj University Press

4

Появление мировых и не только мировых рейтингов университетов вызвало волну критики, в которой можно выделить два направления — идеологическая и методологическая.

Первая — это дискуссии о том, следует ли вообще составлять рейтинги и пользоваться их результатами, какое понимание образования они отражают, и насколько желательны или опасны социальные последствия, к которым их использование может привести. Вторая связана с оценкой качества индикаторов по отдельности и их комбинаций, сбора данных и методов аггрегации отдельных показателей в единый индекс.

Примечательно, что работ, посвященных методологической критике рейтингов, в десятки раз больше, чем идеологической, что, видимо, отражает примирение ученых и чиновников от образования с фактом, что рейтинги вошли в их жизнь всерьез и надолго (или даже энтузиазм по их поводу). Между тем, с точки зрения критиков, рейтинги вовсе не являются безобидной вещью. Недовольные указывают, что рейтинги означают значительно большую, чем раньше, степень контроля над вузом извне и значительно меньшую степень свободы в принятии решений. Кроме того, они унифицируют высшую школу и форматируют ее по одному образцу, который списан с «ведущих мировых университетов» — в основном, «Лиги плюща» в США.

Sauder, Michael, and Wendy Nelson Espeland. 2009.’The discipline of rankings: Tight coupling and organizational change.’ American Sociological Review, 74(1): 63-82.

5

С методологией тоже далеко не всё гладко. Основные моменты методологической критики существующих рейтингов таковы:

• Отсутствие среди измеряемых показателей важных характеристик университета, например, отражающих качество процесса обучения и участия университета в жизни общества, и абсолютное преобладание характеристик связанных с исследованиями (как, например, в Шанхайском рейтинге).

• Примитивные и некорректные схемы объединения непосредственно измеряемых показателей в интегральный индекс: обычно складываются взвешенные значения показателей, а это, по данным статистического моделирования, малопригодный для

получения надежных результатов метод.

• Низкое качество собираемых данных (опросов экспертов, баз публикаций и цитирования, сведений, предоставляемых университетами), связанное как с неумышленными ошибками, так и в некоторых случаях умышленными манипуляциями.

Van Raan, Anthony. 2005. ‘Fatal attraction: Conceptual and methodological problems in the ranking of universities by bibliometric methods.’ Scientometrics 62(1): 133-143

6

Как влияют рейтинги на университеты?

Сегодня исследования показывают, что список эффектов, производимых рейтингами, весьма обширен, однако однозначно позитивным из них можно назвать только один: повысилось качество информации, которые собирают университеты о себе и своей работе.

Часть эффектов скорее негативны и для университетов, успешных в рейтингах, и для неуспешных. К ним относятся изменения в управлении и финансовой политике университета: (1) выбивание финансирования и перераспределение ресурсов в пользу факультетов, которые могут принести «баллы» для рейтинга за счет тех, которые не могут; (2) манипулирование результатами: от «игр» с данными, которые университеты предоставляют создателям рейтинга для его расчета до затрат сумм, сопоставимых с бюджетом факультета на год, для приглашения на работу одного ученого с мировым именем; (3) изменение понимания качества работы университета — теперь оно «привязано» к показателям рейтинга; (4) слияние университетов и перестройка внутренней структуры университета для концентрации ресурсов, которая упрощает

достижение лучших результатов в рейтинге, но обычно усложняет управление.

Часть эффектов позитивны для университетов, которые в рейтинге благополучны, и негативны — для неблагополучных. К ним относятся (1) государственная политика и государственное финансирование, которое обычно увеличивается для успешных и

сокращается для не столь успешных; (2) рыночное поведение университета: политика взимания платы за обучение, формирование и продвижение бренда; (3) моральное состояние сотрудников; (4) перспективы академического сотрудничества университета с другими университетами; (5) выбор абитуриентов и качество студентов.

Последняя группа эффектов приводит к большему, чем раньше неравенству университетов по всем основным показателям — по финансированию, по уровню исследований, по качеству студентов и т. д. В результате имеет место «эффект Матфея»: «всякому имеющему дастся и приумножится, а у неимеющего отнимется и то, что имеет» (Мф.25:29).

Van Vught Frans A., Don F. Westerheijden. 2012. ‘Impact of Rankings’ In Multidimensional Ranking: The Design and Development of U-Multirank. Springer

7

От характеристик конкретного рейтинга сильно зависит место университета в нем. Поэтому среди ученых в основном представлены две позиции: одни считают, что рейтинги можно использовать ограниченно, с учетом их специфики и желательно после серьезного пересмотра и усовершенствования их методологии. Есть и те, кто считает, что от них следует отказаться вовсе. Поэтому тем, кто пользуется данными рейтингов, необходимо как минимум рассматривать их результаты с учетом методики его получения и целей, поставленных разработчиками, а разработчикам — если уж они взялись за эту

задачу — крайне тщательно продумывать цели и методологию их расчета.

Анастасия Кинчарова. 2013.Мировые рейтинги университетов: методология, эффекты и критика. Препринт центра социально-политических исследований технологий.