Всяк сверчок – знай свой шесток.
Народная мудрость
Мой наставник часто повторял: "Не корми меня ядом, повторяя чужие высказывания". В Европе принято говорить из-за спин великих мудрецов, то есть цитировать их. На Востоке это считается дурным тоном, потому что цитата, пропущенная через сознание оратора, есть информация второй свежести. Любая пища, пропущенная через желудок, имеет тенденцию менять свою сущность.
М. Норбеков. Опыт дурака или Ключ к прозрению
Как известно, наукометрия – один из разделов науковедения, в котором наука рассматривается как информационный процесс, и анализируется с применением количественных (статистических) методов исследования. Работы в этой сфере – это, как правило, весьма познавательное, но довольно скучное чтение.
Работа же А.Ю.Шумилова (Введение в юридическую наукометрию. Монография. - М., Издательский дом Шумиловой И. И. 2012), в которой рассмотрены современные подходы к юридическому рейтингу, отнюдь не такова. Более того, она очень интересна для любого человека, хоть как-то связанного с юриспруденцией. Читается как захватывающий детектив: так все-таки кто хороший (и насколько!), а кто «плохиш» (и тоже – насколько)? Конечно же, любому интересно увидеть себя, друзей, коллег, учеников и учителей, научных сторонников и противников, и узнать истинный «вес» каждого, Да-да, именно вес (рейтинг) конкретного ученого в целом, а не оценку конкретной работы. Вот тут-то и начинают возникать вопросы к объективности методики, предложенной автором.
Давайте вспомним железное правило любого экспериментатора: «Процедура измерения предопределяет его результат!».
Что же можно сказать о методике Ю.А. Шумилова, как процедуре измерения? Начнем с довольно простых, бросающихся в глаза, некорректностей.
1. Весь «рейтинг», по существу сведен к единственному показателю – количеству цитирования. Это, конечно, шаг вперед по сравнению с «тупым» суммированием числа публикаций. Вместе с тем, к сожалению, цитирование тоже подсчитывается как механическая сумма по большому количеству изданий (465), которые далеко не равноценны. Трудно сравнивать ценность цитирования во всероссийских авторитетных журналах издательства «Юрист» и в неком «Вестнике N-ского технологического университета». Там, где коллеги по кафедрам щедро ссылаются друг на друга, что вряд ли они же допустят в публикации во всероссийском журнале.
Что можно здесь предложить? Вообще-то, ничего особо нового можно и не придумывать. Есть такой общеизвестный показатель как импакт-фактор (ИФ или IF; англ. – Institute for Scientific Information – ISI) – численный показатель важности научного журнала, применяющийся еще с 60-х годов прошлого века. В настоящее время в России регулярно публикуются ИФ 1630-ти научных журналов, включенных в перечень ВАК и более 8400-т журналов из 60 стран мира. В соответствии с ИФ (в основном в других странах, но в последнее время всё больше и в России) оценивают уровень журналов, качество статей, опубликованных в них, дают финансовую поддержку исследователям и принимают сотрудников на работу.
Именно импакт-фактор может служить неким коэффициентом, позволяющим реально сопоставить цену цитирований в разных изданиях. Следует отметить, что журналы с высоким ИФ обычно имеют более жёсткую систему рецензирования, чем журналы с низким ИФ, что явно работает на объективность оценки. Даже журналы, входящие в перечень ВАК весьма различны по ИФ. Так, например, для «Государства и права» он равен 0,68, «Уголовного права» – 0,43, «Конституционного и муниципального права» –0,39, «Юриста» – 0,22, «Юридического образования и наука» – 0,095, а вот для «Сибирского юридического вестника – всего 0,032. Вывод понятен: цитирование в «Уголовном праве» должно оцениваться приблизительно 13 раз «дороже», чем в «Вестнике».
Для оценки цитирования работ ученого можно применять и Индекс Хирша. Для этих же целей имеется показатель, используемый Scopus, SNIP, разработанный в Лейденском университете профессором Х. Ф. Моэдом. Этот показатель учитывает уже и уровень цитирований в каждой научной области, так что может быть использован для сравнения публикаций в разных научных направлениях. Подобных показателей весьма много. Они различаются способами вычисления, временными периодами, исходными базами и пр. В конце концов, чем плохо среднее цитирование (общее количество ссылок на статьи ученого, деленное на общее количество статей). По крайней мере, это более точная оценка, чем простое суммирование.
При этом не следует забывать, что большое количество цитирований может быть вызвано не только качеством работы, а, например, актуальностью темы в данный момент. А может, и вообще, наличием в статье грубых ошибок, вызвавших поток критики. Любая программа посчитает это как рост цитирования данного автора.
Можно предложить еще один, довольно простой показатель – тираж издания. Цитирование в «Законности» тиражом 8 тыс. экз. и неком «вестнике», изданном в количестве 200-300 шт. тоже большая разница. Не следует забывать, что именно в настоящее время, при рыночной экономике, периодичность издания и его тираж – объективная оценка его значимости и востребованности научным сообществом. Не могут в этих условиях существовать плохо покупаемые журналы с миллионными тиражами, финансируемые государством по каким-то идеологическим соображениям. Правда, есть в рыночных издательских отношениях и оборотная сторона. Любой, хоть сколь-нибудь известный ученый, ежедневно получает на свой e-mail сообщения следующего типа: «Приглашаем на конференцию. Вступительный взнос 1000 руб., стоимость 1 листа публикации – 100 руб.»; «Приглашаем принять участие в коллективной монографии. Цена 1 стр. – 100-200 руб.» и т.п. Почему-то закрадывается подозрение, что рецензирование и отбор материалов будут здесь не слишком строгими. Слава Богу, пока вроде нет коммерческих (платных) диссертационных советов.
Следует также указать на еще один достаточно серьезный недостаток, используемой базы, по которым рассчитан показатель цитируемости – полное отсутствие иностранных (международных) изданий. В практике некоторых передовых вузов этот факт уже довольно давно учитывается. Так, например, в НИУ ВШЭ (Высшей Школе Экономики) работы и цитирования, опубликованные в зарубежных научных изданиях, оцениваются в два раза выше, чем в отечественных. По версии же Ю.А. Шумилова, цитирование в самых авторитетных зарубежных журналах вообще не засчитываются. У автора данной статьи возникает вопрос: в 2013 году вышла его книга в немецком издательстве (Методологические и правовые проблемы информатизации. - LAP LAMBERT Academic Publishing is a trademark of: AV Akademikerverlag GmbH& Co. KG. 2013). Т.е., по методике Ю.А. Шумилова ссылки на нее в нероссийских изданиях считаться не должны вообще (о коэффициенте ВШЭ помолчим)?
2. Главные же сомнения вызывает сам факт расчета рейтинга на основе единственного показателя (даже с предлагаемыми уточнениями). По моему глубокому убеждению, действительно достоверный рейтинг должен представлять собой сумму ряда показателей, характеризующих основные аспекты научной деятельности ученого (разумеется, каждый из них – с определенными уточняющими коэффициентами).
Что можно предложить в первую очередь?
Во-первых. Совершенно очевидно – это не единожды раскритикованное, количество публикаций. Давайте все-таки будем его учитывать, разумеется, применяя приведенные выше, поправочные коэффициенты. У автора данной статьи как-то, практически одновременно, вышли публикации в «Законности» и «Материалах международной конференции», изданных тиражом…98 экз. Издание вполне соответствует требованиям ГОСТа (есть УДК, ББК, ISBN). Но можно ли их механически суммировать?
Во-вторых. Предложенные выше показатели, свидетельство всего двух качеств научной деятельности «рейтингуемых» авторов: их трудолюбия (количество публикаций) и их авторитета среди коллег (цитирование). Здесь отсутствует один из самых важных критериев любой научной работы – востребованность. Проще говоря, а эти работы кто-то читает, они нужны практикам? Не для цитирования или написания собственных научных трудов, а для использования в повседневной правоохранительной, судебной, адвокатской и иной правовой деятельности.
Всеобъемлющий и достоверный показатель такого рода, конечно, очень трудно установить. Однако вполне возможно предложить ряд косвенных критериев, по которым можно судить о реальной популярности публикаций среди пользователей. Для этих целей проще всего использовать возможности современного Интернета.
Можно учитывать, например, следующие цифры:
- Распространенность работ данного автора в Сети (количество независимых сайтов, на которых они размещены). Владельцы сайтов, как правило, размещают на них те работы, которые пользуются спросом. Для юристов следует, наверное, отдельно учитывать работы, размещенные в специализированных правовых поисковых системах («Консультант-Плюс», «Гарант» и пр.) с повышающим коэффициентом. В этих системах кроме обязательных нормативных документов, размещаются наиболее актуальные в данный момент научные статьи. Для «технарей» подобную роль может играть количество официально зарегистрированных открытий, изобретений, патентов.
- Количество просмотров и скачиваний работ (два показателя). Учет количества просмотров и, особенно, скачиваний может весьма существенно корректировать, указанный выше, показатель тираж издания. По сути, это своего рода виртуальный тираж работы. Опять сошлюсь на собственный опыт. Одна не очень научная, скорее, научно-популярная работа была скачана с сайта напрямую 4059 раз и с Torrent – 7600. Можно сказать, что ее виртуальный «тираж» составил свыше 10 тыс. экз.
- Стоимость скачивания (понятно, что критерий весьма сомнителен для научной работы, но очень эффективен – люди готовы платить за то, что им действительно нужно!). О реалиях рыночной экономики уже упоминалось.
Т.е., например, толковое и вразумительное разъяснение неких изменений в УК или УПК, может не очень заинтересовать научное сообщество (особенно, если эти изменения не носят проблемного характера –цитирование будет, возможно, невелико), но будет очень полезно следователям и судьям, которые и будут эту работу читать и скачивать.
В начале 2000-х автором данной статьи была издана книга, явившаяся результатом длительных научных исследований, но имеющая сугубо практическую направленность, которую вряд ли кто-то цитировал в научных трудах. Но она до сих пор размещена более чем на десяти сайтах самой разной специализации, которые позволяют ее скачивать далеко не бесплатно. Значит, хоть ее и не цитируют, но людям-то этот научный труд нужен.
Можно предложить еще один показатель. На этот раз со знаком « - ». Речь идет о сомнительных диссертациях (и даже об абсолютно аргументировано доказанных плагиатах) в сетевом ресурсе «Диссернет». По состоянию на середину октября 2013 года на сайте сообщества было выложено более 200 законченных экспертиз кандидатских и докторских работ по различным направлениям и отраслям науки (чаще всего – по экономическим и юридическим). Экспертизы очень добросовестные, с точным указанием объемов неправомерных «заимствований» с указанием источников (постранично), а, главное, все эти данные находятся в открытом доступе, и любой желающий может лично проверить приводимые сведения.
3. Трудно упрекать автора столь объемной и трудоемкой работы в том, что им охвачен не весь спектр правовой науки. Однако некоторая неполнота приводит и к определенным искажениям общей картины. Так, в исследованиях приводятся, вычисленные автором, рейтинги цитирования как в целом по всем отраслям юриспруденции, так и по отдельным направлениям. Совершенно естественно, что специалист в конкретной отрасли, занимающий в общем рейтинге место 3-4-й сотне, в «родной» специальности может оказаться в 1-й десятке. Беда в том, что при этом охвачены далеко не все специальности, в том числе, и весьма актуальные в настоящее время. Например, профессор М.М. Рассолов занимает в общем рейтинге лишь 1071-е место. А ведь он был основателем целой принципиально новой отрасли права – информационного. Ввел в научный оборот сам термин, написал первые учебники и монографии по этой отрасли. В соответствующем разделе он, по моему мнению, бесспорный кандидат на 1-е место. Но такого раздела и таблицы в работе просто нет.
Кстати, о таблицах. Встречаются среди них и весьма нетривиальные, и даже неожиданные. Так, в одной из них автор данной статьи с немалым удивлением (и радостью!) узнал, что он занимает 7-е место среди «неюристов», оказывающих влияние на юриспруденцию. Если учесть, что 1-е и 2-е места занимают великие российские историки В.О Ключевский и С.М. Соловьев, то тут бы следовало прекратить придираться и начать петь дифирамбы данной монографии. Увы, есть, к сожалению, и такое понятие, как научная добросовестность…
4. Следует остановиться еще на одном аспекте научного рейтинга, который затрагивает автор монографии: о соотношении показателей цитирования в различных отраслях науки. В конце концов, юриспруденция лишь одна из отраслей научного познания, пусть и весьма специфическая, поэтому довольно интересно сравнение ее показателей с другими науками.
Была популярна в 60-е годы стихотворная строка: «Что-то физики в почете, что-то лирики в загоне». Нынче все изменилось.
Вот и Ю.А. Шумилов приводит очень любопытные данные. Смотрим баллы цитирования юристов, входящих в тройку призеров: 2858, 2285, 2057. А вот результаты естественников (физиков, химиков, биологов): 293, 255, 206. Т.е., в среднем они (по расчетам, проведенным по его методике) в 10 раз меньше! При этом лауреат нобелевской премии академик Ж.И Алферов «набрал» всего 158 баллов, что в 10 раз меньше юриста замыкающего десятку, и почти в 20 раз меньше юриста-чемпиона. Очень не хотелось, но не могу не вспомнить шутку другого великого физика Л.Д. Ландау, который делил науки на: естественные, неестественные и противоестественные.
Дело, конечно, не в науках, а в методах подсчета результатов научной работы… Точнее, в просчетах, предлагаемой методики. Просто, при таком некорректном сравнении указанные выше просчеты «вылезли» в очень явном виде, и, по существу, в значительной степени сами опровергают предлагаемую систему. К сожалению, здесь автор монографии невольно выступил в роли известной унтер-офицерской вдовы. Нельзя признать научной методику, при расчете по которой, всемирно известный и признанный мировой наукой ученый (независимо от сферы его деятельности!) имеет показатель равный далеко не самому известному российскому юристу, замыкающему третью сотню.
Следует сказать несколько слов в защиту обильности юридического цитирования. Конечно, между физиком (вообще – «технарем») и юристом (иным гуманитарием) есть много весьма существенных различий. Первый работает с фактами, и делает выводы, анализируя результаты эксперимента. Главное, что при этом, любой его коллега может так же экспериментально проверить выводы, Второй – юрист – работает с мнениями, и, исходя из сути исследования, обязан анализировать эти мнения: Закона (а Закон – это тоже не объективный факт, а всего лишь мнение – пусть, даже всего общества), кодексов, старших и уважаемых коллег, различных судов и пр. Поэтому юрист просто обязан в серьезной работе рассмотреть (и корректно процитировать!) мнения других исследователей по рассматриваемому вопросу. Юристы могут иметь разное мнение даже, когда в наличии имеются факты. Не говоря уже об ученых, достаточно послушать обвинителя и защитника.
Именно поэтому, в любой «юридической» диссертации библиография насчитывает сотни источников. Физик (химик, биолог, математик) может вообще не ссылаться ни на кого: Вот мой результат, я получил его таким-то способом. Хотите проверить – повторите, пересчитайте и т д. Автору данной статьи приходилось встречать диссертации на соискании ученой степени доктора физ.-мат. наук, где библиография насчитывала менее трех десятков работ, половина из которых принадлежала самому автору диссертации.
Нельзя забывать и еще один важный факт, вытекающий из специфики естественных наук: не бывает физики российской, немецкой или французской, а законы у каждого свои. Есть, конечно, и некие общие принципы права вообще, и международного, в частности – но их доля среди прочих проблем, обсуждаемых юристами, не столь велика… Может быть именно поэтому, и в базу цитирования не включены иностранные источники? Действительно, каков шанс специалиста по российскому муниципальному праву быть интересным международному сообществу? Ну, разве что можно будет усмотреть какие-нибудь «нарушения прав человека». А так, это, действительно наше внутренне дело.
А если говорить о национальных особенностях права, достаточно привести очень актуальный пример: «Генеральный национальный совет Ливии 4 декабря (2013 года) принял решение сделать шариат основой законодательства своей страны, сообщает Agence France-Presse. Одновременно с этим депутаты объявили, что юридические правила, прописанные в Коране и хадисах (повествованиях о жизни пророка Мухаммеда), лягут в основу функционирования всех государственных институтов и учреждений. На практике это означает, что новое ливийское законодательство будет приближено к стандартам большинства исламских стран, в которых шариат, как правило, является базой системы права. Ожидается, что в первую очередь это затронет уголовное право, а также законодательство в банковской и финансовой сфере».
Не стоит думать, что это возможно только в мусульманских странах. В России во многих вузах (даже технических) появляются факультеты и кафедры теологии. Это вызывает опасение, что и мы вступаем на подобный путь.
Об этих и иных особенностях различных наук (отраслей знания) можно говорить очень долго, но вывод однозначен: не смотря ни на что, оценка деятельности научного работника не может носить слишком частный характер. Она должна быть достаточно универсальной (конечно, с учетом некоторой специфики). Кстати, хотелось бы напомнить вторую строку, процитированного выше стихотворения: «Дело не в простом расчете – дело в мировом законе!».
Итак, что можно предложить, с учетом всего высказанного выше?
Достаточно универсальная формула для подсчета рейтинга ученого, по моему мнению, может иметь в первом приближении следующий вид
Ri = ( k1 * a1 + k2*a2 + k3*a3 + k4*a4 + k5*a5 + k6*a6 + k7*a7 + k8*a8) - k9*a9
Где
Ri – рейтинг i-го ученого;
a1 - количество цитирований;
k1 – средний ИФ источников цитирования;
a2 – количество публикаций;
k2 - средний ИФ изданий, где опубликованы работы;
a3 - суммарный тираж изданий, где опубликованы работы;
k3 - ~ 0,001 (?);
a4 - количество публикаций в иностранных изданиях;
k4 – ~2 (?);
a5 – количество цитирований в иностранных изданиях;
k5 – средний ИФ изданий;
a6 – количество сайтов Интернета, где размещена работа;
k6 – ~ 0,1 (?);
a7 – количество просмотров работ в сети;
k7 – ~ 0,01 (?);
a8 – количество скачиваний работ;
k8 – ~ 0,1 (?);
a9 – сумма набранных баллов k1 * a1 +…+ k8*a8;
k9 – 0,5 – сам факт недобросовестной диссертации (если это даже строго доказано) не означает автоматического обнуления остальных работ автора.
Понятно, что перечень показателей ki*ai не является исчерпывающим. Можно предложить еще множество других. Например: статус (рейтинг) вуза, который окончил автор; статус вуза/НИИ, где он работает (внутрироссийский и международный); статус диссовета (где он защищался – есть много материалов на сайте ВАК), наличие почетных научных званий (российских и зарубежных) и т.п.
При создании хорошего программного продукта, который позволит делать расчет рейтинга в полностью автоматизированном режиме, в этой программе следует предусмотреть и возможность различных режимов расчета: только по цитированию; только по количеству печатных работ; по минимальному набору параметров; по полному набору параметров; по произвольно заданному пользователем набору и пр. Конечно, при использовании/публикации результатов расчета необходимо указывать – по каким именно параметрам он был произведен. В этом случае, методика Ю.А. Шумилова будет частным (но не единственным!) случаем расчета рейтинга. При этом нельзя забывать, что именно его методика послужила основой для всего остального!
Разумеется, и предлагаемые коэффициенты показателей требуют и уточнения и экспериментальной проверки, но суть предлагаемых усовершенствований в работе по расчету научного рейтинга авторов, по- моему, достаточно ясна.
И, еще одно предостережение. Как бы мы не уточняли показатели, в их основе все равно лежит база РИНЦ (Lebray,ru), а ее полнота и достоверность вызывают определенные сомнения.
Подводя итоги, попробуем ответить на вопрос, поставленный в заглавии статьи. Ответ: наверное, все-таки можно, но простых путей для решения этой задачи нет!