Поговорим об оценках конкурсных/джем новелл

Всем доброго времени суток, с вами снова Райдер из Подвала! В разгаре сейчас Гибрид джем, в котором и я принимаю участие. И в этот раз оценки будут ставить участники друг другу, без судей, как я понял. И я вспомнил давний и вечный вопрос. А как вообще оценивать игры?

Потому что кто-то ставит там всему пятёрки, потому что все молодцы. Кто-то ставит всему нули, потому что его в детстве обижали. И вечно, так или иначе, всплывает вновь и вновь эта тему: <<Как оценивать проекты правильно>>

Что ж. Я далеко не эксперт по оценке, я никогда не был судьёй, но я успел побывать на нескольких джемах, и плюс минус могу выделить несколько моментов в оценке.

Забегая наперёд скажу – правильного метода нет, потому что оценка она на то и оценка, ведь даётся от определённого человека с его точки зрения при его опыте, знаниях и ощущениях. На правду или того сильнее – истину – я не претендую.

Я попробую разобрать эту тему более системно, чтобы хоть немного попытаться абстрагироваться от чистой эмоциональности. Ну и дать тебе пищу для размышления, дорогой читатель.

Сегодня мы поговорим исключительно о числовом факторе оценок. То есть то, по чему считают тех же победителей на джемах. Мы опустим такие факторы как “перспективность”, “качество”, “потенциал” и прочие безусловно важные и даже более критически чем какие-то циферки факторы. Потому что всё в циферки упирается конкретно с перспективы джема хД

ВИДЫ ОЦЕНОК

Давайте начнём с того, какие вообще бывают оценщики. Обычно, человеку свойственен свой определённый паттерн поведения при оценке. Он буквально следует некоторой закономерности, потому что это значительно ускоряет его принятие решений.

Для примера мы возьмём десятибалльную шкалу (от 0 до 10)

Лично я разделяю следующий виды оценщиков по паттернам:

1. 0 или 10 - или нет или да.

Это, по сути, подход Steam. Вы или советуете, или нет. Но когда мы говорим о десятибалльный шкале, то в такой полярности уже смысла нет, да и не найдете вы человека так оценивающего, скорее всего. Однако это возможно.

2. От 7 до 10, с частой 9 и 10. В жизни таким методом пользуется популярный игрожур.

Где 7 - это дно дна, а 6 - убейся автор, а если и есть ниже, их единицы и это самый отборный калл в истории человека, но не ниже 4.

Обычно их мнение равняется популярному, или целевому мнению редакции. В итоге их оценка просто пустой звук и ничего не говорит об игре, и если бы не эксклюзивные материалы от издателей, вы бы вряд ли услышали об их мнении впринципе (пример: ign, котаку, канобу, игромания, стопгейм, вставьте свою любимую и в прошлом великую редакцию). Их мнение закономерно плохо оценивает, как плохие, так и хорошие игры, если их позиция вообще их собственная.

3. От 0 до 7 - иксперд, который считает, что всё чем-то плохо, идеала не существует, кроме его единственной игры 10 из 10 (которая обычно, мягко говоря, спорна). А так у всего кроме “той самой” максимум оценка будет 7, а обычно 5.

Очень часто такой метод можно увидеть у старых игроков. Обычно таким паттерном руководит “синдром утёнка”. И если он у вас есть, для вас всё-всё- всё новое будет говном из жопы, а всё-всё-всё старьё будет получать или лютое одобрение или снисходительные поблажки, ведь это старая игра, ведь раньше вот умели делать.

Далее виды которые используют +- весь диапазон от 0 до 10

4. От 0 до 10 с перевесов в “>5” - старается быть объективным, поэтому закрывает глаза на минусы, которые посчитает что люди не заметят, а по итогу у него всё 7-9, но в отличии от игрожура, дно он раскидывает по сортам нижней строчки.

5. От 0 до 10 с перевесом в “<4” - возможно, человеку просто не нравится что- то, или возможно он пытается играть в объективность и занижает оценки, но по итогу у него почти всё от 4 до 6. Что убивает к чертям собачьим любой намёк на объективность, как ни странно, потому что мнение получается кашеобразное и однородное в любом случае.

6. От 0 до 10 с перевесом в диапазон 4-6 – ультра редкий человек, который считает, что 0 это дно, а 10 это небеса. Ну а 5 это средний средняк, нормальная игра без выдающихся минусов и плюсов. Не смотря на то что номенклатурное он должен казаться самым правильным оценщиком – к его оценкам всегда больше всех претензий. Потому что когда человек получает на свою работу оценку 1, а у соседа оценка 10, тут не мудрено и покрыть чем-нибудь оценщика за такие приколы, или попробовать уличить его в заинтересованности к другому конкурсанту.

Ну, и больше мне на ум не приходит. Но это говоря про оценки в финальном варианте, так сказать. Ведь есть ещё их образующие факторы: разные точки зрения, влияние информационного поля в кругах общения человека, стадии принятия чужой работы, ну и куда без фактора случайности. Да, я далеко не всё перечислил, но не думаю, что кто-то точно назовёт все причины нашей позиции по той или иной даже игре, не говоря о чём-то большем. А я и не говорю, нам бы с оценками игр разобраться :)

Давайте немного углубимся теперь в фактор субъективного восприятия, который чуть ли не больше рационализма присутствует в каждой оценке.

СУБЪЕКТИВНОЕ ВОСПРИЯТИЕ

Каждый из нас склонен считать, что видит суть таковой, какой она есть в действительности, что он объективен и его мнение верно по умолчанию. Однако дело обстоит совсем не так. Мы видим продукт не таким, каким он является, а таким, каким он отражается лично для нас, – или же таким, каким настроены его видеть. Можно даже сказать, что оценивая или описывая проект мы приписываем ему своё собственное виденье и как бы связываем его с самими собой, осознанно или нет. И открывая рот, чтобы описать, что мы видим, мы в результате описываем самих себя, наши представления, нашу логику. И стоит кому-то с нами не согласится, и мы сразу же считаем что не правы именно они. От этого и не обойдётся ни одна оценка без недовольств. Однако, люди видят одно и то же по-своему, каждый видит сквозь свою собственную уникальную призму оценки, понимает он это или нет.

Но что ещё более интересно, наша реакция укрепляет наше мнение, которая порождает нашу реакцию, начиная один из многих цикличных процессов в нашей голове. Поэтому люди довольно последовательно придерживаются своей политики оценок, или же оценки конкретного явления. Чем больше мы оцениваем что-то высоко, тем больше мы сами начинаем в это верить. Но также как мы стараемся видеть только негатив, так мы и начинаем видеть и подмечать негатив повсюду. Увы, нету какого-то магического переключателя из душнилы в мотиватора, или обратно. Хорошо это или плохо.

И к чему это я? А к тому что мы придерживаемся вполне конкретно или хвалебной, или негативной доктрины в суждениях по поводу продукта. И, как и во всём в жизни, очень важно найти баланс в дозировке необходимого для развития яда – критики. Я не буду сейчас подмечать, что негатив должен быть завёрнут исключительно в критику, и то что только разумный негатив стоит внимания, а весь остальной можно спокойно игнорировать, ведь мы все это сами наверняка понимаем, не так ли? Итак. Баланс между условным + и -

Если мы обратимся к научному обоснованию, то нам сразу выйдут исследования Д.М. Готтмана 1994го года. В которых он на примере отношений в браке смог достаточно точно прогнозировать стабильность брака или развод. По его подсчетам, соотношения позитива к негативу должно быть 5 к 1. То есть 5 положительных моментов против одного негативного. Если коэффициент будет ниже, то дело идёт к разладу. Это что касается отношений и эмоций

Про бизнес тоже есть такое же соотношение. 3 положительных момента к 1 и выше на совещании компании - значит всё хорошо, а ниже - нет соответственно. Этот коэффициент получил название “коэффициент Лосада” в честь его первооткрывателя Марселя Лосада.

В то же время при соотношении 13 к 1 и выше у вас всё начнёт быть слишком хорошо и вы перестанете отдавать отчет реальности, что приведёт в долгой перспективе к такому же краху. Можно перенести эти исследования в очень простую истину по нашему вопросу: должен быть баланс между облизыванием и хейтом.

Но мы можем перенести это и на диапазоны оценок в том числе, пусть это и будет некорректно, но никто же не знает как правильно, попробуем?

Если вы оцениваете в среднем от 3 до 13 проектов положительно к 1 отрицательному - значит ваше мнение можно считать стабильным. В маленьких диапазонах эта цифра может и ещё больше варьироваться, безусловно.

Я думаю вплоть до 1 к 1

Но я думаю вы согласитесь: человек, который дает меньше чем 1 положительный отзыв на 2 негативных - на вряд ли имеет понимание о том о чем он говорит. А значит у нас получается, если я нигде не сошёл с ума, интересная ситуация.

Мы можем условно классифицировать оценивающего по:

1) разбросу его оценок.

2) по соотношению позитивных к негативным мнениям.

И попробовать на основе этих двух факторов понять ценность этой оценки.

Что же касается пресловутой объективности. Кто-то говорит, что её нет, кто-то старается делать скидку на условия, кто-то считает, что его чистосердечное мнение и есть объективность.

И лично я считаю, что второй пункт классификации это и есть объективность. Буквально. Не может быть всё плохо. Но и слишком хорошо всё быть не может. Да, в + и – перекосы это нормально, но у них должна быть логичная граница. И от 1 до 13 + на 1 – меня лично более чем убеждает.

КАК ОЦЕНИВАТЬ САМОМУ

Ох, лично для меня это самое сложное. Я терпеть не могу выставлять оценки кому-то циферками. Но иногда приходится.

Стоит сразу сказать, что мы можем придерживаться любой удобной доктрины из ВИДОВ ОЦЕНОК, ведь это всё равно просто субъективные циферки, которые +- всегда ставятся эмоционально.

Давайте я опишу свой метод, который экономит мне и время и силы. Если его попытаться просто объяснить, то это что-то типа “динамической шкалы”. Может быть есть какое-то более умное или простое название, я не знаю. Короче:

Пусть для примера у нас 10 проектов

Среди них есть фаворит и откровенный слабачек. (с нашей точки зрения, не чей-то ещё. Это важно.)Я не говорю как мы их определили, это совершенно другой вопрос.

Так вот, что мы можем сделать

Поставить низу = 1

А фавориту – 10 (это временные оценки)

Затем, располагать по порядку других конкурсантов между ними

То есть какая игра лучше какой

Если не знаете между двумя какая лучше, поставьте их рядом

Затем оцените их качество относительно 1 и 10 на данный момент по месту в таблице

Условные 4, 6 и 8 оценки мы примерно получили на этот момент

А затем посмотрите насколько игра с оценкой 1 отличается от игр с оценкой 4 и насколько 8 отличается от 10

Если не сильно, то сдвиньте низ вверх ,если он не так плох (то есть у нас исчезает единица, и она становится условной 3), или верх вниз, если он не так хорош (то есть оценка 10 превращается в 9 или 8)

Но опирайтесь строго на свои чувства, будь они высчитанными, или эмоциональными. Ведь в этом вся и суть в конце концов :)

Вот и всё. Готово. При желании можно средние оценки также между собой подравнивать.

Мы составили некоторый топ. Объективный ли он? Мы старались. Поверьте, это уже больше того, что иногда бывает Ж)

Да, метод не идеален. Даже кто-то посчитает его ошибочным, и слава богу, значит люди сами об этом задумываются!

Хотя мы могли бы и просто на эмоциях поляпать, не ориентируясь на других конкурсантов. Ну знаете, мне это нравится, это не нравится, так что вот так вот.

Что может привести к конфузу, ведь в одной лодке может оказаться судья что ставит всем 10-7 и судья что ставит всем 4-7, а потом просто резко 10 - это шок контент.

Особенно когда суммы баллов играют значение

НЕКОТОРЫЕ МЫСЛИ

В реальности обычно всё идёт как попало. И мы имеем условный рейтинг каждого судьи, если их несколько. Затем какой-то средний официальный рейтинг. А потом идут рейтинги по мнению зрителей и рейтинг по мнению разработчиков/участников. И очень даже зачастую они ну ни разу не совпадают.

Плохо ли это? Нет конечно. Главное воспринимать эту информацию как кластер данных и не расстраиваться ни в одной из оценивающих структур. Игре не обязательно занимать топ-3 на джеме, чтобы в итоге стать чем-то большим. (Наверное из самого громкого что в памяти всплывает это всё то же молоко от Крюкова.) А иногда победители просто пропадают с радаров сразу же после окончания джема, и прямо вот навсегда. Это всё совершенно не показатель.

Как вы уже поняли, лично я без понятия как грамотно связать эмоции и цифры вместе. И даже более того, я не знаю, как правильно, или наиболее правильно обрабатывать получившийся результат.

То есть да, рейтинги на джемах определяют финалистов, победителей и так далее. Они получают свою минуту славы, возможно какие-то призы, ну и… Всё на этом. Дальше развитие проекта больше похоже скорее на бросок д20, чем на что-то понятное и предсказуемое. При том всё что меньше 15ти – это конец проекта, он никуда не идёт. А чтобы он аж развивался и вырос в итоге во что-то большее это надо выкинуть 20ку. Иногда даже дважды подряд.

Так что вся эта тема скорее для размышлений, чем для конкретных ответов. Чёрт его знает, как енти ваши циферки ставить правильно :)

Надеюсь не сильно утомил, спасибо что открыли эту статью и дочитали до конца! Можете делиться вашим мнением в комментариях!

И если вы хотите почитать мои размышления на какую-либо ещё тему, не стесняйтесь предлагать всё там же в комментариях. хД