Неудачная попытка литературного мета-анализа и мета-оценки
Что такое мета-анализ? Анализ анализов. Есть, например, сотня рецензий (настоящих) на какое-то произведение. Пардон, на КАКИЕ -ТО. И авторы рецензий исследуют по одинаковой схеме стиль, диалоги, композицию. И делают выводы, например, что женской прозе свойственны длинные диалоги. Но читатель не имеет возможности прочитать всю эту сотню, да ещё на разных языках. Вот тут на помощь условному читателю и приходит ОДИН анализ всех ста анализов. Проводится он долго, несколько месяцев, работает целая команда. Одни занимаются поиском, другие переводом, третьи связываются с рецензентами, испрашивают у них права, статисты считают. Руководитель определяет правила и нормы, выдвигает гипотезы. Достаточно трёх. Гипотеза, антигипотеза, нулевая. Например: 1. Если автор женщина, то диалоги всегда длинные. 2. Если автор женщина, то диалоги короткие. 3. Если автор женщина, то определить конкретную длину диалога не представляется возможным. К каждой гипотезе ставятся ещё и вопросы.
Каждая рецензия должна соответствовать определённому набору критериев, типа:
- на текст произведения не более 100 000 знаков.
- только проза
- обязательны два ГГ
- 20% диалогов
- счастливый конец
- действие 20 век
Ромео и Джульетта не подходят, точнее, анализ этого произведения не рассматривается. В научной среде считается недостоверным результат с менее чем 100 анализов произведений. Для студентов скидка: хотя бы 10. Мета-анализ не даёт ответа, он указывает направление, определяет тенденцию.
Для подтверждения гипотез нужен рабочий инструмент. Сюда относятся и статистические исследования, и анкетирование, и моделирование. Но главный вопрос состоит в том, как в одну повозку (мета-анализ) запрячь и осла, и трепетную лань. Что нового это принесёт исследованию? Есть два основных пути: 1. Выдвинуть гипотезу, которую уже исследовали в ста этих рецензиях, но применить новые методы подсчёта (знаки считали на калькуляторе, а теперь на компьютере – шутка. А вот вместо среднего арифметического подсчитать среднее геометрическое -уже ближе к научности). 2. Выдвинуть новую гипотезу, но искать её решение строго в рамках применённых методов.
Ликбез по мета-анализу кончился. Почему у меня не получилось. Сначала я пытался найти литературные сайты, на которых проводятся литературные конкурсы. Хотел узнать у них правила судейства. Результат плачевный. Литературных сайтов как ПРОЗА.Ру очень и очень мало. Сделал себе студенческую скидку, наскрёб 10. Но конкурсы проводятся не на всех, а кое-где проводятся чрезвычайно редко. Сотню конкурсов никак не найти, снизил критерии, десяток нашёл. Но критерии судейства были такими разными, что не представлялось ни малейшей возможности привести их к общему знаменателю. А ведь первоначальной задачей было СРАВНЕНИЕ РЕЗУЛЬТАТОВ СУДЕЙСКОГО ГОЛОСОВАНИЯ С ЧИТАТЕЛЬСКИМ В ЛИТЕРАТУРНЫХ КОНКУРСАХ. Рабочей гипотезой я выдвинул:
- ЕСЛИ СУДЬИ ОЦЕНИВАЮТ ТЕКСТЫ ПО ЗАДАННЫМ КРИТЕРИЯМ, ТО ЧИТАТЕЛИ РУКОВОДСТВУЮТСЯ ПРЕИМУЩЕСТВЕННО ЭМОЦИЯМИ.
Одной из гипотез являлась: ЧЕМ БОЛЬШЕ КРИТЕРИЕВ СУДЕЙСТВА, ТЕМ БОЛЕЕ ШАНСОВ У УЧАСТНИКОВ ФОРМАЛЬНО «ПОДОГНАТЬ» РАССКАЗ ПОД УСЛОВИЯ КОНКУРСА. С целью попадания в призёры.
И отсюда: ЧЕМ БОЛЬШЕ КРИТЕРИЕВ У СУДЕЙ, ТЕМ БОЛЬШЕ ОТЛИЧАЮТСЯ ОЦЕНКИ СУДЕЙ И ЧИТАТЕЛЕЙ.
В какой-то момент я понял, что данных у меня под рукой пруд пруди. И это - судейские и читательские оценки конкурсов К-2. Задал критерии и начал составлять таблицу. Критерии простые:
1. Массовость – не менее 15 участников.
2. Кол-во судей – не менее 6
3. Наличие результатов как судейского, так и читательского голосования.
Требования к количеству участников пришлось снизить до 10. Но в некоторых конкурсах отсутствовало читательское голосование. И пруд превратился в лужу. Данных явно недостаточно, чтобы реально можно было бы провести анализ и подтвердить или опровергнуть гипотезы. На первый взгляд, большинство работ-призёров совпадали в обоих голосованиях, но были и разительные результаты, когда в призёры читательского голосования попадал аутсайдер судейского и наоборот. Малое количество данных не позволяет доказать вышеприведённые гипотезы. Как правило, рассказы-призёры в обеих номинациях занимают места с 1 по 5.
В качестве примера я бы привёл «Приключенческий» конкурс.
Слово регламенту:
«Также судья присуждает рассказу по 1 дополнительному баллу за:
- любовную линию, которая кое-что поясняет в построении сюжета
- поиск сокровищ (в любом эквиваленте – золото, драгоценности, ценные бумаги, редкие природные ископаемые и т.д.),
- похищение (человека или предмета, безразлично),
- раскрытие какой-либо тайны, глобально влияющей на жизнь героев впоследствии,
- схватку (перестрелку, драку, побоище)». И это дополнительные! баллы.
Все призёры в пятёрке обоих голосований. Довольно большое количество условий, за которые давались баллы, было блестяще выполнено некоторыми участниками, что позволило судьям выдвинуть их в топ, а читателям такое количество условий ни в коей мере не помешало высоко оценить одни и те же с судьями произведения.
Мета-анализ, который не состоялся по причине малого количества данных, это А. Он мог бы показать тенденцию, но … Если бы, однако, мета-анализ состоялся, то можно было бы сказать и Б. А именно, провести мета-оценку, попросту переоценку. Конкурсу К-2 нужна палочка-выручалочка для беспристрастного судейства.
Идеальный вариант: разработать универсальные правила оценки. Для этого надо 1. провести широчайшее анкетирование. 2. для проверки универсальных критериев заново оценить хотя бы сотню рассказов-призёров. 3. сравнить с оценками независимых читателей (читательское голосование). Произвести, таким образом МЕТАОЦЕНИВАНИЕ С ПОДТВЕРЖДЕНИЕМ\опровержением ВЫДВИНУТЫХ гипотез.
На данный момент К-2 находится в стадии становления и поиска. Из плана Б возможно проведение только 1 пункта, но так как план А не состоялся и не была выявлена тенденция, то и анкетирование придётся проводить практически на голом (с научной точки зрения) месте. С этой же точки зрения результаты анкетирования окажутся нерелевантными.
Круг замкнулся? Но хочется верить, что это всё же спираль. К тому же, исследование не даст ответа на вопрос: «А как же быть и «изюминками» К-2, а именно совершенно непредсказуемыми заданиями типа: вставить фразу, обязательное перемещение, обязателен эпиграф или фраза-вывод в конце». Также не будет ответа на вопрос, где же брать судей и сколько.
На данный момент я бы осмелился предложить определение «абсолютного» победителя путём сложения суммы баллов (ими мест) судейского и читательского голосования и вычисление среднего арифметического. При большом количестве судей и читателей – среднегеометрического. Если кто-то ещё знает, как последнее вычисляется и зачем.
© Copyright: Конкурс Копирайта -К2, 2016
Свидетельство о публикации №216090801815
обсуждение здесь http://www.proza.ru/comments.html?2016/09/08/1815