Методология расчета рейтинговых оценок

Методология расчета рейтинговых оценок российских вузов инженерно-технического профиля (на примере исследования вузов Приволжского федерального административного округа).

1. Основные принципы рейтингования образовательных ресурсов

В связи с общей тенденцией к унификации систем высшего образования в рамках процесса глобализации образовательных ресурсов, Россия стоит перед необходимостью выработки собственного подхода к рейтингованию вузов, учитывающего специфику как образовательных традиций России и ранее СССР, так и складывающего рынка специалистов, который носит переходный характер, сочетающий в себе  как рыночные отношения, так и монопольные. Другой важной особенностью современной России является  переживаемый ею в последние годы «образовательный бум», проявляющийся в лавинообразном росте численности вузов и специализаций. Одновременно растет и платежеспособный спрос населения России, причем охватывающий все новые социальные группы, на услуги высшего образования. Этот «бум» в качестве оборотной стороны имеет снижение образовательных стандартов, обесценение дипломов о получении высшего образования, распыление ресурсов, направляемых государством и частными инвесторами на образование.   Реформа образования, широко обсуждаемая в последние годы, пока не встречает однозначного отношения общественности, ее цели и смысл многим недостаточно понятны. Все это предопределяет те сложности, с которыми сталкиваются специалисты, занятые выработкой подходов к рейтингованию образовательных ресурсов. Опыт стран, которые занимаются рейтингованием уже не один год, приемлем в России лишь частично. Тем не менее, он заслуживает тщательного анализа.
Существенный интерес для России представляет деятельность рейтинговых центров в Великобритании. Их роль в принятии решений за последние годы постоянно возрастает. Так рейтинги высшего образования и табели лиг [как их предпочитают называть в Соединенном Королевстве] стали появляться не только в частном секторе средств массовой информации, но и в профессиональных ассоциациях и правительствах.
Методы ранжирования отдельных высших учебных заведений значительно различаются и часто связаны с уникальным контекстом высшего образования Великобритании. Каждая система или метод включают логический ряд элементов. При расчете рейтингов либо пользуются данными из существующих статистических источников, либо собирают свои собственные данные, в том числе с помощью социологических методов. После этого выбирают тип и количество переменных, которые закладываются в собранной информации. Из отобранных переменных стандартизируют необходимые показатели и определяют их вес. В дальнейшем, производятся вычисления и делаются сравнения, которые позволяют расставить учебные заведения в «рейтинговом порядке». Эти рейтинги часто спорны и много обсуждаются в тех или иных местных, национальных и в настоящее время все больше международном контекстах. Независимо от того, согласны ли колледжи и университеты с различными рейтинговыми системами и насколько существенны результаты табелей лиг, рейтинговые системы существуют и будут существовать. Именно эта самая общая схема расчета рейтингов использована нами и в России, при рейтинговании вузов Приволжского округа. В то же время сам набор показателей, учитываемых при рейтинговании, их информационная основа, надежность измерения, соотношения весов – все это необходимо обсуждать, здесь возможны существенные варьирования.
Как и специалисты из других стран, мы также столкнулись с целым рядом методологических трудностей. В первую очередь, это касается ответа на вопрос, какие типы показателей деятельности, процедур и какие этические соображения должны быть включены в концептуальную структуру или типологию систем ранжирования высшего образования?
Как отмечают наши зарубежные коллеги, «возможно, главным изъяном рейтингов/табелей лиг являются непрекращающиеся изменения в их методологии». Так, по их мнению, хотя учебные заведения могут фактически не претерпевать значительных изменений, рейтинги зачастую колеблются из года в год в результате изменений весовых коэффициентов, присваиваемых различным частным показателям. Точно также, многие рейтинги предлагают однозначное число, суммирующее общий рейтинг учебного заведения. Эта практика создает сложности для студентов в определении различий учебных заведений на основе характеристик, которые они считают наиболее важными. К тому же значительная часть объективных данных, используемых в рейтингах, предоставляется самими учебными заведениями. Продолжение такой практики без внешнего подтверждения правильности данных могло бы привести в будущем к возникновению сложностей у рейтингов, так как учебные заведения в Европе все больше делают ставку на способность рейтингов влиять на поведение. Еще более остро стоит данная проблема в России, в условиях, когда реальный уровень и авторитет многих вузов представляют собой быстро меняющиеся величины, происходит их постоянное перепрофилирование, создаются новые специализации, открываются все новые вузы. При этом статистика высшего образования в современной России оставляет желать лучшего, и единственной возможностью проведения рейтингования является сбор выборочной информации социологическими методами, в том числе и субъективных показателей (оценки, мнения). Это, безусловно, затрудняет процесс встраивания результатов российских измерений в международный контекст. Тогда как совершенно справедливо отмечает Ректор LKAEM Анджей Козьминский, «рейтинги высших учебных заведений должны отражать здоровый баланс между универсальными глобальными ценностями и местными особенностями культур, обществ и систем образования. Это должно найти отражение в методологиях ранжирования, позволяющих делать международные сравнения и стимулирующих поиск совершенства в международном образовательном пространстве».
Проблемой является и то, какой тип рейтингов следует рассчитывать, и на какие компоненты следует обращать наиболее пристальное внимание. В этом отношении следует обратить внимание на работу, выполненную Дж. Мерисотисом для совещания в Варшаве, в которой предлагаются следующие компоненты такой систематизированной типологии рейтингов и их структур:

• Типы рейтингов:

o объединенные (несопоставимые наборы взвешенных показателей, объединенные в единый итоговый балл);
o основанные на отдельной дисциплине (позволяют ранжировать различные уровни высшего образования);
o иные (трудно классифицируемые рейтинги/табели лиг).

• Структура рейтингов:

o порядковая (1, 2, 3, 4, 5...);
o кластерная или сгруппированная (учебные заведения ранжируются по уровням – лучшие, средние, худшие и т.д.);
o «только лучшие» (учебные заведения ранжируются с выставлением численной оценки, но публикуются данные только по определенному числу учебных заведений).

• Источники, сбор данных и документация

o уже имеющиеся данные (предоставляемые учебными заведениями, внешние источники сбора данных);
o специальный сбор данных (опрос студентов, ППС и другого персонала, работодателей и бывших выпускников)

В этой связи Рейтор в своей практике делает упор на построении объединенных (сводных) рейтингов, характеризующих общий уровень вуза, однако рейтинги считаются отдельно не столько для различных образовательных дисциплин, сколько для групп специализаций. Так в исследовании вузов Приволжского округа были выделены такие специальности, как машиностроение, нефтегазовые специализации, специальности группы IT, менеджмент, энергетика. А при расчете как самих рейтингов, так и отдельных показателей (индексов) использованы все типы шкал: порядковая, кластерная, количественная, номинальная. Отсутствие надежной базы уже имеющихся данных заставило сделать основной упор на специальный сбор данных, включающих вузовскую статистику, экспертный опрос, качественную и количественную социологию. Понимая, что хотя ни одна структура, возможно, не сможет охватить все системы ранжирования высшего образования в современной России, группа Рейтор по разработке типологии рейтингов стремится создать такую типологию, которая сможет всесторонне оценить все разнообразие методов и методологий, применимых при расчете рейтингов.  РейтОР стремится учитывать в разрабатываемой методологии ранжирования образовательных ресурсов международные подходы, а также практику отдельных стран, которые рассматривают ранжирование как неотъемлемую часть глобального измерения качества и подотчетности высшего образования. Рейтинг вуза – это положение или статус, присваиваемый вузу в целом или отдельной его специализации по отношению к другим вузам в изучаемой группе. Российские рейтинги, как и зарубежные опираются, прежде всего, на определение качества, разработанное международным академическим сообществом и закрепленное в нормативных документах ЮНЕСКО.
Как правило, цели и задачи любого рейтинга включают:
• информационное обеспечение абитуриентов, студентов и их родителей, инвесторов, работодателей, администрации вузов, органов управления высшим образованием и общества в целом о сравнительных характеристиках деятельности вузов, что оказывает влияние на привлечение студентов и дополнительных как государственных, так и альтернативных источников финансирования;   
• стимулирование вуза к самооценке и тем самым выявлению сильных и слабых сторон его деятельности, а, следовательно, повышению своей конкурентоспособности.
В этой связи российские рейтинги призваны отражать все многообразие заинтересованных в результатах образовательного процесса сторон – самих выпускников, работодателей, преподавателей и администрации вузов, представителей региональной администрации, независимых экспертов. Но наиболее существенное принципиальное отличие нашего подхода от многих распространенных за рубежом – это ориентация на конечный результат, а не на факторы, с помощью которых он достигается. Между тем, по данным еженедельного журнала «Штерн», взявшего на себя маркетинг и распространение сравнительных методик рейтингования, большинство наших зарубежных коллег учитывают при рейтинговании именно факторы профессиональной подготовки студентов вузов. В этой связи интересно проанализировать сводные результаты различных рейтинговых агентств, отражающие количество используемых показателей и их характер.
 
Таб.1 Количество показателей, используемых различными составителями в каждой категории

Составитель Качество академического персонала Уровень поступающих студентов Качество программы получения диплома Качество аспирантских программ Ресурсы Мнение заинтересованных лиц Другое Всего
Asiaweek 6 2 0 0 8 2 2 20
TheCenter 4 1 0 1 3 0 0 9
CHE/Stern 1 0 2 5 20 2 3 33
Good Guides 5 3 3 0 7 1 7 26
The Guardian 1 1 2 0 2 0 0 6
Maclean’s 4 4 3 1 7 1 3 23
Melbourne Index 4 1 2 1 2 2 0 12
Perspektywy 2 0.5 0 0.5 10 2 2 17
The Times 2 1 3 0 3 0 0 9
U.S. News 1 3 3 0 4 1 3 15
Всего 30 16.5 18 8.5 66 11 20 170
(Источник: <http://www.unimelb.edu.au>) 
 
Количество показателей колеблется в широких пределах – от 6 («Гардиан») до 33 (CHE/Stern). Почти все рейтинги содержат достаточно большое количество показателей оценки «Ресурсов» - эта категория является самой детализированной практически во всех рейтингах. Показатели «Качество персонала» также, как правило, весьма многочисленны. Наименее проработанной при этом является графа «мнения заинтересованных лиц», что является отражением оценок самим студентами или их будущими работодателями. Из следующей таблицы (табл. 2) видно, что при взвешивании различных компонентов, используемых при расчетах интегральных рейтингов, наиболее высокие веса присваиваются характеристикам ресурсной базы, а также показателям, отражающим качество академического персонала, причем первая из этих двух, видимо, является самой важной для всех рейтингов. Так относительно размера весовых коэффициентов, присвоенных 7 категориям показателей, можно выявить те же тенденции, что и для количества показателей. Что же касается наиболее важного для нас компонента – «мнение заинтересованных лиц», то,  пожалуй, лишь польское агентство «Perspektywy» делает акцент именно на данном типе показателей веса составляют до 50%). Другие составители либо вообще игнорируют субъективные оценки, либо ставят им веса от 8 до 20%.
Огромное внимание большинство рейтинговых агентств уделяет детальному описанию качеству и составу академического персонала вузов (таб.3). Эти показатели включают в себя и объективные параметры (число лауреатов международных премий, ссылки на публикации, звания), так и субъективные (репутация). Вот что в этой связи говорит Рейтинговая группа: «Мы ранжируем университеты по нескольким показателям академической и исследовательской деятельности, включая выпускников и персонал, получивших Нобелевскую премию и награды по своему направлению подготовки, часто цитируемых исследователей, количество статей, опубликованных в журнале «Nature and Science», расширенный и простой индексы цитирования в журнале «Science», а также академическую деятельность с учетом размера учебного заведения».

Таб.2 Весовые коэффициенты различных категорий (в %)

Составитель Качество академического персонала Уровень поступающих студентов Качество программы получения диплома Качество
аспирантских
программ Ресурсы Мнение заинтересованных лиц Другое
Asiaweek 23 14 0 0 32 20 10
TheCenter 33 11 11 11 33 0 0
CHE/Stern Нет данных
Нет данных Нет данных
Нет данных Нет данных Нет данных Нет данных
Good Guides Нет данных
Нет данных Нет данных
Нет данных Нет данных Нет данных Нет данных
The Guardian 40 10 15 0 20 0 15
Maclean’s 17 15 10 1 27 16 15
Melbourne Institute 40 11 14 16 11 8 0
Perspektywy 23 2.5 0 0 20 50 5
The Times 37 9 27 0 27 0 0
U.S. News 3 16 23 0 23 25 11
(Источник: <http://www.unimelb.edu.au>)   

Таб.3 Распределение весовых коэффициентов между субкатегориями качества академического персонала (в %)

Составитель Качество академического персонала:
исследования/репутация Качество академического персонала:
преподавание
Asiaweek 23 0
TheCenter 33 0
CHE/Stern Нет данных Нет данных
Good Guides Нет данных Нет данных
The Guardian 0 40
Maclean’s 17 0
Melbourne Institute 40 0
Perspektywy 23 0
The Times 14 23
U.S. News 3 0
 (Источник: <http://www.unimelb.edu.au>)   


В дальнейшем, по каждому показателю учебному заведению, имеющему самые высокие результаты, присваивается показатель 100, а результаты других учебных заведений рассчитываются в процентном отношении от наивысшего показателя. Разброс данных по каждому показателю анализируется с точки зрения какого-либо значительного искажения; при необходимости используются стандартные статистические методы для подгонки показателя к стандартным шкалам и величинам. Затем результаты размещаются в порядке убывания. Рейтинг учебного заведения отражает количество учебных заведений, которые располагаются выше него. Подобный подход применяет и «Рейтор» при вычислении интегральных индексов и рейтингов, стандартизируя шкалы различной номинации с помощью так называемой «кумулятивной шкалы», отражающей порядковый номер исследуемого объекта в их общем ряду.
С чисто операциональной точки зрения, как отмечает Вальдемар Сивински, рейтинг представляет собой методику расположения в определенном порядке конечного числа объектов, оцененных по различным критериям. Использование различных критериев позволяет всесторонне описать объекты и расположить их от лучшего к худшему или же в обратном порядке. Разработка рейтингов в настоящее время представляет собой отдельную область знания. В Польше ведущим специалистом в этой области является профессор Иренеуш Никовски – эконометрист из Варшавской школы экономики (SGH). В конце одной из своих работ профессор ставит вопрос: возможно ли подготовить совершенно объективный рейтинг, т.е. тот, который будет абсолютно свободен от субъективных суждений его разработчиков? На этот вопрос Никовски отвечает отрицательно. По его мнению, объективный рейтинг невозможен, поскольку по меньшей мере дважды в процессе его подготовки срабатывает субъективное мнение разработчиков. Первое субъективное решение принимается в процессе выбора показателей для оценки по различным критериям, второе – при утверждении процентных весовых мер по конкретным показателям. Ни одна из процедур в этой области не является идеальной. Именно поэтому, по мнению профессора Никовски, разработчики рейтинга должны в своих решениях руководствоваться здравым смыслом и выбрать процедуру, представляющуюся оптимальной в данной ситуации.
Рейтинги могут рассчитываться как частные, учитывающие один показатель или одну группу показателей, или же интегральные. Еще раз в этой связи остановимся на некоторых методических подходах к расчету рейтингов, принятых в имеющейся зарубежной практике. Так по решению Совета рейтингов университеты, как правило, оцениваются по трем группам показателей - престижу, уровню научной работы и условиям учебы. Эти характеристики оцениваются по шестнадцати критериям. Одним из источников данных являются анкеты, разработанные организаторами рейтинга.
Престиж.
Хороший вуз должен иметь определенный престиж. Этот показатель измеряется по оценкам выпускников и по положению преподавателей в научном сообществе. Также престиж оценивается по количеству упоминаний профессоров университета, получивших свое звание в последние два года, в анкетах, заполненных представителями крупных компаний. Мнения представителей этих двух групп – работодателей и ученых – имеют равный вес при оценке престижа каждого вуза. В интегральном рейтинге используются значения показателей из обеих групп со статистическим весовым фактором  25% соответственно относительно максимального значения показателей.
Научный уровень.
Данная группа критериев относится к оценке научного и интеллектуального уровня университета. Они описывают научно-исследовательские возможности, которыми располагает университет, среди них такие показатели как оценки:
- научной мощности, которая определяется числом научных званий и степеней, полученных академическим персоналом за последний год; Рабочий индекс, используемый в этой категории для вычислений, имеет вес в 10%;
- научного потенциала, описываемого в терминах вычисления среднего значения так называемых категорий, присвоенных кафедрам вуза KBN. Эти данные и соответственно результат так называемой KBN-категоризации, имеют вес в 10%;
- вступительного конкурса, измеряемого числом абитуриентов на одно место в данном вузе (2,5%);
- диверсификации предложения образовательных услуг, измеряемой соотношением числа учащихся последипломных программ к общему числу студентов в данном вузе, включая студентов последипломных программ (4,5%);
- квалификации факультетских преподавателей, определяемой как процент высококвалифицированных преподавателей (ассистентов профессоров и профессоров) в общем числе преподавателей (3%).
Условия обучения.
Они принимаются во внимание при составлении рейтинга вузов, и этому критерию присвоен общий вес 20%.
Всем упомянутым выше показателям присваиваются коэффициенты, значение которых определяется соотношением между значением показателя для данного университета и максимальным значением этого показателя. Например, если шкала А в анкетах, разосланных работодателям, по какому-либо показателю получила оценку в 150 баллов и эта оценка наибольшая из всех шкал, то 150 приравнивается к единице. Коэффициент этого показателя для шкалы А будет составлять 1. Если некая шкала В получила по тому же показателю оценку в 75 баллов, то коэффициент этого показателя для шкалы В составит 0,5. Рассчитанные таким образом коэффициенты с учетом весов, присвоенных Советом рейтинга, используются для вычисления рейтинговых баллов, а взвешенная сумма коэффициентов будет являться промежуточным (рабочим) баллом рейтинга. На основе этого балла определяется положение школ в промежуточных рейтингах на текущий год. Окончательный рейтинг составляется с учетом результатов прошлогоднего рейтинга (вес 0,25) и промежуточного балла рейтинга этого года (вес 0,75). Это соотношение чаще всего выражается следующей формулой:
W2002 = 0,25 * W2001 + 0,75 * WR2002,
где
W2002 – окончательный балл рейтинга для 2002 г.,
W2001 – окончательный балл рейтинга 2001 г.,
WR2002 – промежуточный балл 2002 г.
С учетом специфики положения частных вузов для их ранжирования по методике Совета директоров применяются критерии, некоторым образом отличающиеся от критериев общеуниверситетского рейтинга. Три группы критериев остаются неизменными, а именно: престиж (который имеет вес 50%, данные по этой группе показателей берутся из тех же источников, что и для общеуниверситетского рейтинга), научный уровень (30%) и условия обучения (20%), однако в последние две группы входят и несколько иных показателей.

2. Концепция построения системы интегральных общественных оценок (рейтингов) российских вузов

Учитывая специфику переживаемого современной Россией этапа развития системы высшего образования и характер имеющейся статистический базы, нами было принято принципиальное решение остановиться, в первую очередь, на субъективных оценках качества высшего образования, получаемого в российских вузах. Источником этих оценок являются мнения студентов старших курсов (выпускников), представителей работодателя (руководителей среднего звена, кадровиков),  преподавателей, а также внешних экспертов.
Информационной базой для рейтингования профессиональной подготовки вузов являются результаты анкетного опроса (преимущественно самозаполнения анкет), а также результаты внешней экспертизы, содержащей оценку критериев востребованности профессиональных и адаптивных качеств выпускников, дополненные оценками отдельных компонентов профессиональной подготовки. Общая схема расчетов индексов состоит в нормировании всех использованных в анкетном опросе и экспертизе шкал (частных индикаторов), перевзвешивании частных индикаторов с помощью факторного анализа, их суммировании с подобранными в результате перевзвешивания «весами» и нормирования уже полученных таким образом коэффициентов. В качестве интегральных рейтингов, отражающих различные аспекты профессиональной и личностной подготовки выпускников, нами рассчитаны такие как индекс профессиональной подготовки, индекс адаптивности, индекс ожидаемого социального успеха и индекс общественной значимости вуза (специальности).
Приведенные в качестве результата расчеты носят предварительный характер (апробация). При последующем более детальном анализе они могут корректироваться и дополняться в связи с привлечением новых частных индикаторов и удаления дублирующих или малодостоверных. Ограничителем валидности представленных результатов является качество использованной информации, которая, особенно в случае анкетного опроса, носит выборочный характер и содержит запланированную ошибку (статистическую погрешность), которая не позволяет содержательно интерпретировать малозначимые различия в интегральных и частных индексах. Другим ограничителем является объем опрошенных руководителей среднего звена, представляющих интересы работодателей, а также преподавателей.
Важным обстоятельством, выявленным в ходе исследования, является неразвитость конкурентной среды на региональных рынках труда, отсутствие у многих работодателей и выпускников представления о качестве подготовки специалистов в других вузах аналогичного профиля.
В качестве основного объекта расчетов интегральных индексов является вуз в рамках конкретной специальности (в исследовании выделено пять специальностей – IT, машиностроение, энергетика, нефтегазовые специальности, менеджмент). Это означает, что один и тот же вуз может получить разный рейтинг в зависимости от исследуемой специальности. Информация о профессиональном уровне вузов получается косвенным путем – через самооценку профессиональной подготовки выпускников, и оценку выпускников работодателями, преподавателями и экспертами. Качественным дополнением, позволяющим содержательно интерпретировать произведенные расчеты, являются глубинные интервью, проведенные с руководителями вузов и представителями работодателей.
В качестве итога построения системы рейтингов подготовлена кластеризация обследованных вузов по уровню их профессиональной подготовки, в рамках которой вузы делятся на четыре группы – «отличное качество подготовки», «хорошее качество подготовки», «удовлетворительное качество подготовки», «слабое качество подготовки».
Самым главным моментом, определяющим нашу концепцию рейтингования, является попытка совместить рыночную оценку вуза, определяемую как конкурентоспособность его выпускников, и общественную оценку, в которую включаются такие компоненты как престиж вуза, ожидаемый успех и социальная карьера выпускников. Таким образом, как показал анализ возможных моделей построения системы интегральных показателей выпускников российских вузов как претендентов на рынке труда, можно выделить следующие системы показателей:
Первая из них характеризует комплексную оценку конкурентоспобности (способности старшекурсников вузов к профессиональной адаптации) выпускников, которая складывается из трех подсистем, отражающих: а) уровень профессиональной подготовки выпускников; б) уровень адаптивности выпускников (соответствие их личных и профессиональных качеств требованиям рынка труда); в) ожидаемый социальный успех выпускников; г) уровень общественной оценки выпускников и подготовивших их вузов. Способность старшекурсников вузов к профессиональной и общесоциальной адаптации  оценивается  как на основе информации, получаемой от самих выпускников, так и на основе информации, получаемой от различных представителей со стороны работодателей.
Вторая система показателей связана с выявлением и описанием критериев оценки также как со стороны выпускников, так и со стороны работодателей. Третья система описывает факторы, связанные с процессом достижения требуемого уровня конкурентоспособности. В основном, эти факторы описывают те или иные особенности учебного процесса и состояния рынка труда или отдельных его сегментов.
Остановимся на проблемах оценки конкурентоспособности вуза. Представляется, что при построении интегральных показателей конкурентоспособности выпускников следует учитывать многоаспектность природы высшего образования. С одной стороны, существует все более жесткая взаимосвязь (или потребность такой взаимосвязи) между целевыми установками и требованиями к качеству образования со стороны бизнеса (производства) и ориентацией учебного процесса, с другой стороны, высшее образование выполняет социальную функцию, значительно более широкую, чем удовлетворение запросов бизнес-структур. Эта социальная функция проявляется, в первую очередь, в обеспечении социального успеха как такового, напрямую не связанного с оценкой выпускника на конкретном и достаточно узко специализированном рынке труда. Кроме того, вузы имеют определенную общественную оценку (важность для общества, престиж и т.д.), в отношении которой опрошенные в ходе исследования стороны, представляющие как обучающихся, так и их работодателей, а также представители системы высшего образования и административных органов, могут выступать в качестве экспертов. Явные различия между вузами обнаружены и с точки зрения охвата ими абитуриентов из различных регионов, так ряд обследованных вузов имеет значительное число студентов из разных регионов страны, в других представлены студенты из различных областей Приволжского округа, в третьих обучаются преимущественно студенты только из одной области или даже одного города. Следует также учитывать то обстоятельство, что в современной России рыночные отношения в некоторых сегментах общества только еще складываются, а взаимоотношения между вузами и бизнесом носят преимущественно нерыночный характер (в особенности это касается инженерно-технических специальностей,  наиболее расходных с точки зрения процесса обучения).
Таким образом, интегральные показатели конкурентоспособности включают в себя как ожидаемый социальный успех  выпускников,  уровень их профессиональной подготовки, обеспечение потребностей работодателя на рынке труда, так и общественное признание вузовской подготовки со стороны различных представителей экспертного сообщества.  Эти показатели связаны между собой, но их связь носит далеко не всегда прямой характер. Так социальный успех может выявиться в удачном брачном союзе, умении приобрести вторую и третью специальность, высокой горизонтальной мобильности, способности добиваться высокого заработка и т. д. То есть речь идет о социальной карьере выпускника в целом и его профессиональной карьере как составной части социальной карьеры. Сама карьера не отслеживается в рамках инструментария, поскольку систематические данные, как правило, отсутствуют, но изучаются ее предпосылки и факторы. Собранные нами данные скорее отражают ожидаемый успех, самооценку  готовности выпускника добиваться профессионального и социального успеха, информация о котором существует в форме социального опыта окружения, репутаций и т.д. Социальная карьера в отдельных случаях может быть и вообще не связана с полученным образованием, однако полученная профессия, качество образования и социальные связи, приобретенные в вузе, увеличивают или уменьшают ее вероятность. В широком смысле слова, социальная карьера отражает вертикальную социальную мобильность выпускников, их способность к повышению своего социального статуса во время обучения и после его завершения. Показателями, отражающими социальную карьеру, являются престиж, заработок, объем социальных связей, востребованность на рынке труда. Соответствие требованиям работодателя на рынке труда также является лишь одним из возможных факторов, обеспечивающих социальную карьеру (социальный успех). Однако в некоторых случаях может и противоречить, так вполне возможной выглядит ситуация, когда работодатель не заинтересован в быстрой карьере вчерашнего выпускника и соответствующем росте его материальных и социальных притязаний.
Существенной проблемой, ограничивающей валидность расчета различных характеристик, отражающих конкурентоспособность выпускников, является недостаточная развитость конкурентной среды во взаимоотношениях между вузом и работодателем, фактическое отсутствие выбора у многих работодателей, низкая степень информированности бизнеса о проблемах высшего образования.  При этом следует учитывать, что конкурентоспобность выпускника измеряется как композиция оценок самого выпускника и оценок работодателя в лице представителей кадровых подразделений и руководителей среднего звена бизнес-структур.
Таким образом, нами производился расчет следующей системы характеристик на основе собранного эмпирического материала:

А.  Интегральный рейтинг конкурентоспособности вуза

1. Оценка профессиональной подготовки выпускника
1.1. Со стороны самого выпускника.
1.2. Со стороны работодателя.
1.3. Со стороны преподавательского состава.

2. Оценка адаптивности выпускника
2.1. Со стороны самого выпускника.
2.2. Со стороны работодателя.
2.3. Со стороны преподавательского состава.

3. Общественная оценка вуза
3.1. Оценка ожидаемого социального успеха выпускника.
3.2. Экспертная оценка вуза и выпускника.
3.3. Оценка регионального представительства вуза.

Б. Критерии, определяющие конкурентоспособность вуза

1. Критерии выбора работодателя со стороны выпускника.
2. Критерии профессиональной подготовки со стороны выпускника.
3. Критерии профессиональной подготовки и адаптивности со стороны работодателя.
4. Критерии внешней экспертизы.

В. Факторы, определяющие конкурентоспособность выпускника

1. Факторы, определяющие профессиональную подготовку.
2. Факторы, определяющие адаптивность, личную подготовленность выпускника.
3. Факторы, определяющие ожидаемый социальный успех выпускника.

3. Методика расчета интегральных индексов, критериев и факторов

Сначала остановимся на источниках информации для расчета интегральных показателей. Это информация, полученная из анкет, а также результаты внешней экспертизы. Вот основные частные показатели, учитываемые при расчете интегральных рейтингов.

1. Профессиональная подготовка выпускника (самооценка выпускника)
1.1. Оценка выпускником конкурентоспособности профессии при трудоустройстве.
1.2. Оценка значения дисциплин, преподаваемых в вузе, для работы по специальности.
1.3. Соответствие содержания и методов подготовки специалистов современным требованиям. Оцениваются содержание теоретических курсов, получение навыков практической работы, методы проведения занятий, профессиональный уровень профессорско-преподавательского состава, техническое и информационное оснащение учебного процесса, учет требований рынка.
1.4. Уровень профессиональной компетенции (самооценка). Оценка по 12 параметрам, включающим общетеоретическую подготовку, уровень базовых знаний в области отраслевого маркетинга, знание отраслевой специфики, уровень базовых знаний в области экономики предприятия и т.д.
1.5. Соответствие полученного в вузе уровня фундаментальных знаний тем требованиям, которые, согласно оценке самого выпускника, необходимы для успешной карьеры.

2. Адаптивность выпускника (самооценка выпускника).

2.1. Будущее значение дисциплин, преподаваемых в вузе для общего развития. Самооценка выпускников.
2.2. Готовность (адаптивность) к профессиональной деятельности. Самооценка по 5-балльной шкале. Включает в себя готовность проводить на рабочем месте 8 и более часов, способность руководить людьми, умение создавать рабочие группы, умение находить новую информацию и т.д.

3. Профессиональная подготовка выпускника (оценка работодателя)

3.1. Общая профессиональная оценка уровня фундаментальных знаний  молодых специалистов, пришедших на работу в 2004-2005 годах со стороны работодателя.
3.2. Оценка среднего уровня  подготовки молодых специалистов по отдельным составляющим: профессиональный теоретический уровень, практическая профессиональная подготовка, эрудированность, широта образования, психологическая зрелость, ответственность.

4. Оценка адаптивности выпускника работодателем

4.1. Общая оценка уровня адаптивности  молодых специалистов, пришедших на работу в 2004-2005 годах со стороны работодателя. Включает в себя такие характеристики как трудоспособность, опыт работы по специальности, целеустремленность, психологическую устойчивость, предпринимательские навыки, ответственность, владение иностранным языком, исполнительность, знание корпоративной культуры и т.д.
4.2. Профессиональная оценка пригодности выпускников вуза – молодых специалистов к работе.  Включает в себя готовность проводить на рабочем месте 8 и более часов, способность руководить людьми, умение создавать рабочие группы, умение находить новую информацию и т.д.
4.3. Соответствие профессиональных качеств выпускника критериальным требованиям со стороны работодателя.
 

5. Оценка социальной карьеры выпускника

5.1. Оценка получаемой выпускником вуза профессии с точки зрения материального достатка и жизненных перспектив.
5.2. Соответствие того, что дает работа, требованиям выпускника. Оценка по характеристикам: квалификационный рост, рост зарплаты, должностной рост, творческое отношение к своим обязанностям, стабильность рабочего места, социальная защищенность, реальное участие в управлении подразделением.

6. Общественная оценка выпускника и вуза.

6.1. Престижность получаемой профессии. Самооценка выпускника.
6.2. Сравнение заканчиваемого вуза с другими вузами.
6.3. Лучший ВУЗ, готовящий специалистов соответствующего профиля, с точки зрения работодателя.
6.4. Оценки вуза старшекурсниками как гипотетическое намерение снова поступить в тот же вуз

7. Критерии будущей работы со стороны выпускника.

7.1. Оценка значимости условий при выборе места будущей работы, включая возможность работы по полученной специальности, возможность карьерного роста, перспективы роста заработной платы и т.д.
7.2. Критерии привлекательности выбранного места будущей работы.
7.3. Критерии жизненного успеха.
7.4. Критерии (приоритеты) персональных и профессиональных качеств, необходимых для успешной карьеры в той сфере, где планируется работать. 
7.5. Критерии, которыми руководствуется работодатель при приеме молодого специалиста на работу.
7.6. Качества и навыки, наиболее значимые для успешной карьеры молодого специалиста (оценка работодателя).

8. Интегральный рейтинг вуза

Является расчетным показателем на основе оценки профессиональных и личных качеств выпускника самим выпускником, работодателем, преподавательским составом, а также оценок ожидаемого социального успеха и общественной оценки вузов.

Как это следует из опыта рейтингования за рубежом, главной проблемой расчета интегральных индексов является подбор весов для различных шкал и частных показателей, используемых в процессе расчета. Подбор весов, в равной степени как и учет тех или иных показателей, носит во многом субъективный характер. Математико-статистические процедуры, используемые в этом процессе, носят стандартный характер, они содержатся в пакете SPSS  и других статистических руководствах. Однако порядок применения этих процедур зачастую носит нестандартный характер. Остановимся в этой связи на некоторых ключевых моментах, имеющих методологическое значение.
А. Как показал анализ полученных результатов, отдельные инженерно-технические специальности существенно различаются по своей конкурентоспособности. Это связано с неравномерным экономическим развитием постреформенной России, где, например, энергетика и нефтегазовая отрасль бурно развиваются и специалисты в ней хорошо оплачиваются, а с другой стороны, например, специалисты в области машиностроения, обслуживающие преимущественно унаследованный от времен СССР российский военно-промышленный комплекс, до сих пор пребывающий в состоянии стагнации, имеют значительно более низкую востребованность. Эти различия никак не связаны с качеством подготовки специалистов в вузе и не должны влиять на рейтинг вуза. Подобные различия заставляют делать расчеты рейтингов отдельно по различным группам специальностей.
B. Все используемые индикаторы (частные индексы) необходимо приводить к единой шкале, тем более, что анкетные показатели получены в разных шкалах.  Частично – в 5-балльной шкале, частично в двух, трех и семи-балльной, а некоторые – в номинальной, дихотомической шкале. Для решения данной проблемы существует известная статистическая процедура перевода полностью или частично упорядоченных шкал к единой шкале (кумулятивной шкале), где соответствующий балл заменятся отклонением от медианы (или после процедуры нормирования переводится в шкалу произвольной номинации). Так при переводе кумулятивной шкалы в 10-балльную балл «5» будет означать среднее положение в анализируемом подмассиве данных (соответствие медиане распределения). А, например, индекс 7,6 означает, что 75% вузов слабее данного, а 24% - сильнее. То есть в условной сотне, вуз занимает 76 место при расчете «снизу» или 24 место при расчете «сверху».
C. Для построения интегральных рейтингов, как частных, так и общих, используется ранжирование (подбор весов) составляющих индикаторов на основе факторного анализа. С его помощью выделяются наиболее значимые индикаторы, коррелирующие с основными факторами или главными компонентами. Выделяются индикаторы второго уровня (с менее значимой корреляцией или менее значимыми факторными нагрузками),  и третьего уровня (со слабой корреляцией или малыми факторными нагрузками). Эти показателям, соответственно, приписываются веса по нисходящей – 3, 2, и 1. С этими весами факторы суммируются и вычисляется среднее значение интегрального фактора. Дальнейший, более углубленный анализ потребует интерпретации и включения в расчетную процедуру второго и третьего по значимости факторов (главных компонент). В результате возможным представляется получение не просто одномерной линейной шкалы, но пространства главных компонентов, в котором каждый вуз будет занимать точечное место в многомерном пространстве. Это позволит воспользоваться при классификации вузов методами многомерной классификации, в частности, многомерным кластер-анализом. На завершающей фазе расчета индексов производится их дополнительное нормирование.
D. Наиболее сложным моментом разработанной схемы расчетов является «привязка» всей информации, особенно получаемой от работодателей, к конкретным вузам или кафедрам. Во многом эти сложности носят объективный характер – многие работодатели не слишком интересуются тем, какой именно вуз окончили их работники, они в большей степени рассчитывают на их способности самостоятельного усвоения новой информации и навыков, а также на их способность к адаптации в новой производственной ситуации.

4. Некоторые качественные выводы

Проблемы расчета интегральных индексов вузов, связанные и с неразвитостью рыночной среды, и с небесспорным качеством статистической информации, требуют  от исследователей постоянной корректировки своих расчетов на основе собираемой параллельно качественной информации.               
Из содержания глубинных интервью, проведенных с работодателями, представителями вузов и власти в Приволжском округе можно сделать некоторые качественные выводы о системе общественных оценок профессиональных качеств выпускников как претендентов на рынке труда.
1. В реальной практике работы бизнес-структур и вузов комплексной системы общественных оценок конкурентоспособности как таковой пока не существует, она только начинает складываться. В сегодняшнем Поволжье фактически отсутствует рынок труда специалистов с высшим техническим образованием. Это касается и трудовой миграции специалистов. Эти обстоятельства делают мало возможной оценку работодателями конкурентоспособности вузов ПФО, поэтому работодатели могут оценивать лишь качество их выпускников, но при этом их в большей степени интересуют личные (адаптивные) качества, чем сугубо профессиональные.
2. Из глубинных интервью с работодателями можно выделить следующие основные критерии конкурентоспособности выпускников вузов (расположены примерно в порядке убывания значимости):
1) Обучаемость, способность к восприятию нового и развитию знаний.
2) Трудоспособность, умение и желание работать.
3) Профессиональная (теоретическая, базовая) подготовка.
4) Коммуникабельность, умение строить отношения с коллегами, профессиональная этика.
5) Ответственность, дисциплина, самостоятельность.
6) Энергичность, инициативность, мобильность.
7) Креативность, знания в смежных отраслях (экономика, менеджмент).
8) Знание компьютера, иностранных языков.
9) Заинтересованность в работе предприятия (корпоративная культура)
10) Опыт практической работы по специальности.
Как видно из перечня критериев, работодателей интересуют не столько профессиональные, сколько человеческие качества претендентов на работу, что объясняется несколькими причинами:
а) примерно одинаковым уровнем базовой подготовки студентов в большинстве технических вузов ПФО,
б) изначальной недостаточностью подготовки выпускника и необходимостью «доучивать» молодого специалиста на производстве,
в) объективной необходимостью «доподготовки» выпускников, связанной с быстрым развитием технологий.
Что же касается собственно качества образования, то здесь критерии работодателей во многом совпадают с оценкой выпускников самими представителями вузов, оценка же личных качеств студентов не входит в компетенцию представителей вузов.
3. Взаимоотношения предприятий и вузов Поволжья в целом можно охарактеризовать как развивающееся сотрудничество, принимающее различные формы. Основными из них являются:
• Производственно-учебный комплекс (комплексная, наиболее продвинутая на сегодняшний день форма сотрудничества),
• Производственная практика студентов (самая распространенная форма, необходимая, но не достаточная для успешной адаптации выпускников на рабочем месте),
• Участие предприятий в учебном процессе (менее распространенная, но весьма востребованная вузами форма),
• Целевая подготовка студентов по договору (эта форма мало развита сегодня, но весьма перспективна на будущее),
• Доподготовка специалистов на предприятии (вынужденная форма,  с помощью которой предприятия пытаются ликвидировать существующий разрыв между теоретической подготовкой выпускника и требованиями производства).
Представители большинства вузов оценивают участие работодателей в формировании ключевых компетенций выпускников как явно недостаточное, и хотели бы более тесно сотрудничать с предприятиями с тем, чтобы улучшить качество подготовки выпускников, в первую очередь дать им больше практических знаний.  Сами предприятия ПФО пока что проявляют гораздо меньше интереса к такому сотрудничеству, многие довольствуются готовыми специалистами, смирившись с необходимостью доучивать их самим, меньшинство уже сотрудничают с вузами на более ранних этапах. Местные предприятия, бизнес пока не готовы вкладывать в образование, даже такая, казалось бы, выгодная для работодателя форма, как целевая подготовка специалистов по договору, слабо развита из-за несовершенства законодательства, а также инертности предприятий.  Работодатели ПФО в целом терпимо относятся к качеству профессионального образования выпускников местных вузов, но вместе с тем явно желают его улучшения, у многих есть претензии к базовому образованию. Отмечалось снижение качества технического образования, основными причинами этого являются уменьшение государственного финансирования вузов, появление большого количества частных вузов и местных филиалов государственных, уклон в сторону подготовки экономистов и финансистов в последние годы.
4. Из глубинных интервью с работодателями, представителями вузов и власти  Поволжья можно выделить ряд проблем, затрудняющих общественную оценку конкурентоспособности как вузов, так и их выпускников. Так отсутствие миграции выпускников делает практически невозможной конкуренцию между вузами региона. Основными факторами, затрудняющими миграцию, являются  низкие зарплаты молодых специалистов и жилищный вопрос.  Невозможность для предприятия пригласить специалиста из вуза другого города затрудняет даже сравнительную оценку работодателями выпускников местных и московских вузов – в интервью эти сравнения в основном носили чисто умозрительный характер, не приводились реальные примеры из жизни.
Кроме того, в энергетике, нефтегазовой отрасли, меньше в машиностроении, довольно ограничен выбор вузов, готовящих специалистов по данной специальности, что также затрудняет предпочтения работодателя. К примеру, в России имеется всего три специализированных энергетических вуза, и из-за отсутствия конкурентной среды в регионах трудоустройство их выпускников обусловлено чисто географическим фактором: где учились, там и работают.
5. Идея общественной оценки вузовского образования и составления независимого рейтинга вузов вызвала определенный интерес у опрошенных. В большинстве своем они согласны с тем, что выпускника должен оценивать в первую очередь потребитель его знаний – работодатель, но одна лишь его оценка будет не совсем объективной. Отсутствие полноценной рыночной среды приводит к тому, что между выпускниками вузов даже соседних городов практически нет конкуренции за рабочие места, что значительно усложняет общественную оценку их конкурентоспособности. Совершенно очевидно, что независимый рейтинг вузов будет востребован с развитием рыночной среды, миграции молодых специалистов и их внутриотраслевой конкуренции.