Многокритериальные оценки

Автор публикации: Purple Cutieshy

Просмотров: 3904

Комментариев: 82

Форум:  Редакторская

Многокритериальные оценки

Кажется, редакторская группа в контакте померла, поэтому публикую здесь.

Есть предложение сделать многокритериальную оценку текстов.

Поясняю на примере компьютерной игры (в журналах так часто оценивают):

 

Оригинальность: +2

Интерфейс: +7

Графика: -2

Звук и музыка: +2

 

Итого: (+2+7-2+2)/4 = +2.25 (поскольку меньше 2.5, округляем в меньшую сторону) = +2

И редактор выставляет +2 балла.

 

Соответственно, нужно только придумать наборы критериев для Прозы и Стихов, при чем, чтобы критерии были равнозначны между собой (чтобы итоговый балл можно было оценивать как среднее арифметическое). Ну либо не равнозначны, но тогда еще веса нужно будет придумывать (например, орфография в два раза важнее сюжета), и считать это будет сложнее.

 

Я бы для Прозы предложил что-нибудь типа вот такого:

1) Низкоуровневая грамотность (орфография, грамматика, пунктуация)

2) Высокоуровневая/речевая грамотность (синтаксис, несогласованные времена и виды глаголов, двусмысленные указательные местоимения и прочее)

3) Стиль (соблюдение стиля, подходящего для описываемого явления, например, отсутствие канцеляритов в художественном тексте для детей). Баллы чуть-чуть снижаются, если стиль сильно похож на чей-то известный (как бы оригинальность страдает).

4) Композиция. Баллы слегка снижаются, если композиция использует слишком известные композиционные штампы (опять ущерб оригинальности).

5) Сюжет. Баллы сильно снижаются, если сюжет не оригинален.

Возможно, четвертый и пятый пункт можно объединить.

 

Ну а внутри каждого критерия баллы выставлять очень просто. Скажем, на 10000 символов текста по первому критерию (орфография, грамматика, пунктуация) выставляется:

-7: за более чем 30 ошибок

-6: от 24 до 30 ошибок

-5: от 19 до 24

-4: от 15 до 19

-3: от 12 до 15

-2: от 10 до 12

-1: от 8 до 10

0: 7 ошибок

1: 6

2: 5

3: 4

4: 3

5: 2

6: 1

7: 0

Ну или типа того.

 

Чем хороша такая схема - приучает редакторов к разборам с хотя бы минимальным уровнем конкретики. Да и автору точнее показывает, до какого уровня (в смысле, уровня языковых категорий) он дорос, ведь, как правило, если человек валится на первом (низком) уровне, то следующие у него слабы и подавно. И наоборот.

 

Update 20.06.2011:

 

Сейчас использую такой вот списочек (для Прозы):

1) Элементарная грамотность (орфо-граммо-пунктуационная)

2) Грамотность второго уровня (лексико-синтаксическая)

3) Стиль

4) Детализация

5) Композиция

6) Сюжет

7) Актуальность (оценка потенциальной ЦА).

 

Первый подопытный текст успешно удален! Гип-гип!

 

Update 27.06.2011:

 

После недели экспериментов принял решение попробовать предложенную ниже схему:

 

1) Грамотность (объединил первые два критерия из прошлой схемы)

2) Стиль

3) Детализация

4) Композиция и сюжет (поскольку объемы текстов в сетературе довольно малы, и сюжет с композицией играют слишком малую роль по отдельности)

5) Актуальность темы (оценка потенциальной ЦА).

Дата публикации: 27 июня 2011 09:58

Комментарии:

Нет, давайте актуальность оставим…
и персонажей тоже включим…
по поводу двух уровней грамотности — не могу судить, ибо не лингвист… возможно, обоснованно разделять грамматику на уровни, а может — лучше в целом её оценивать… не вижу преимуществ ни того, ни другого подхода… хотя, если смотреть на бОльшую конкретику и детализацию самого разбора — то такое деление себя оправдывает… но проще — не делить…
22 июня 2011 00:39

Нет, давайте актуальность оставим…
и персонажей тоже включим…
по поводу двух уровней грамотности — не могу судить, ибо не лингвист… возможно, обоснованно разделять грамматику на уровни, а может — и не обоснованно… не вижу преимуществ ни того, ни другого подхода… хотя, если смотреть на большую конкретику и детализацию самого разбора — то такое деление себя оправдывает… но проще — не делить…
22 июня 2011 00:30

А мне вот оч.импонирует экспериментируемая многокритериальная оценка… более объективная получается, что ли… при разборе сразу становится понятно, что тексту не хватает… у каждого конкретного автора, по-моему, вообще всегда есть какой-то перекос: либо хромает грамотность, либо нет сюжета, либо нужно работать над собственным стилем… Получив несколько оценок за разные тексты автор не может уже не видеть, в какую сторону ему в первую очередь нужно совершенствоваться… Правда, такой разбор текстов, — обалденная работа редактора… Энергозатратная…
Мне бы вот хотелось в будущем получать именно такой полный разбор текстов (если бы они у меня вообще писались)…
Тестируйте-тестируйте) заметим баги в критериях оценки — скажем...)
22 июня 2011 00:17

«Да-да, вам бы всё с авторами попиздеть» — я пребываю в странной уверенности, что отзывы всё-таки пишутся для авторов.

«Пока выяснится, правит ли автор текст, этот текст может уехать на вторую страницу в ленте» — не будете неделю тупить — не уедет.

«Затем, что на сайте есть редакторы с шаблоном «нра-не нра», и это многим не нра» — у таких редакторов проблема не в отсутствии другой заготовки, а в непонимании простого факта — надо быть готовым обосновать свою точку зрения и выслушать чужую. без этого понимания бесполезен даже идеальный шаблон, если вам и удастся с Заразой под ручку таковой вывести.
20 июня 2011 22:37

правит ли автор свой текст, готов ли вступать в диалог и т.д.
Да-да, вам бы всё с авторами попиздеть. Пока выяснится, правит ли автор текст, этот текст может уехать на вторую страницу в ленте, я уже забуду, о чем он вообще был. И кроме того, как-то не очень будет радовать, если в прозу будут сваливать многотонные валуны в расчете на то, что литкультовские задроты превратят их в статуи Венер, а потом еще и вытащат эти статуи в Топ-1 на главную.

зачем тут единый шаблон и бюрократия?
Затем, что на сайте есть редакторы с шаблоном «нра-не нра», и это многим не нра. А так хоть будет заготовка, от которой можно плясать. Да и остальным не помешает, как ориентир.
20 июня 2011 20:23

«А на грамотность второго уровня» — кто-то в аркады переиграл.

я ж не против учитывать грамотность, не вопите. можно поступить проще:
1) грамотность (вся)
2) стиль
3) сюжет
4) композиция
5) детализация
6) персонажи
(актуальность оставим гламурным девочкам из Космо)
даже в таком, более приличном виде система дохуя чего не учитывает. например, такую элементарную вещь — правит ли автор свой текст, готов ли вступать в диалог и т.д. неужели вы думаете, что вы — первый, кто пытается перевести лит-ру на цифру?

«вместе с этим предлагается не молчать в тряпку, а объявлять, какие критерии в данный момент ценит данный редактор, насколько ценит по сравнению с остальными, и насколько данное произведение каждому критерию соответствует» — что он и должен делать в своём развёрнутом отзыве, аргументируя оценку. всё. зачем тут единый шаблон и бюрократия?
20 июня 2011 18:54

Нет, погодите, я знаю, как это дело исправить — добавлю во второй критерий грамотности требование не писать лишних слов «свой/своя/своё...». И можно брать его с двойным весом.

это процесс происходит постоянно, его нельзя просто один раз провести
ёба, читать надо внимательнее, это и предлагается. Однако вместе с этим предлагается не молчать в тряпку, а объявлять, какие критерии в данный момент ценит данный редактор, насколько ценит по сравнению с остальными, и насколько данное произведение каждому критерию соответствует.
20 июня 2011 08:36

итого 50%-ный вклад в оценку даёт грамотность. которая является не достоинством, а базовым условием создания текста.
То-то на ЛитКульте 50% текстов написано неграмотно. Ладно, ну а как Гватемала написала бы Пальму также, но без знаков пунктуации и с орфографическими ошибками в каждом слове? Нет, мы на это глаза закроем.

А на грамотность второго уровня (двусмысленные «его», скачущие виды глаголов) кто-то жалуется под топовыми текстами больше моего.

Вчера добавил два критерия — актуальность и детализация, итого вес грамотности снизился до 2/7. Отлично, кстати, сработало на тексте немирофки, -5 получилось.
20 июня 2011 08:31

Какая разница, допустим, что да. Вы-то говорите, что и передающая сторона на кой-то черт должна быть убеждена в истинности этой посылки.
20 июня 2011 08:16

«Ратующим за разные шаблоны — я не предлагаю ввести шаблон, я предлагаю его выработать» — ещё один читать не умеет. я не ратую за разные шаблоны. шаблоны — это нечто устойчивое, статичное. наборы критериев у разных редакторов не могут быть статичными — редакторы всё время изучают новые тексты, получают новый опыт и т.д. какие-то критерии проходят проверку боем, какие-то нет, какие-то — создаются для новых, не учитываемых ранее случаев и т.д. это процесс происходит постоянно, его нельзя просто один раз провести на Совете Племени и потом со спокойной душой персиками хлюпать. «давайте сейчас выработаем единый шаблон» = «давайте соберёмся и один раз подумаем, чтобы потом больше не думать вообще». а придётся.

«посмотрите еще раз на подсчеты Заразы» — угу, на подсчёты Заразы, который «тыщу раз говорил про недостатки механического подсчёта в стихах». у которого «оценка первична», т.е. некие фантомы шепчут оценку +3, под которую потом подгоняются объяснения (и то — если носом ткнут только).

система, обрисованная в посте — отдельный лулз:
«Я бы для Прозы предложил что-нибудь типа вот такого:
1) Низкоуровневая грамотность
2) Высокоуровневая/речевая грамотность
3) Стиль
4) Композиция и сюжет.»(объединим, как там и сказано, хотя это совершенно разные вещи. при этом пункты 1 и 2 мы почему-то не объединяем)
итого 50%-ный вклад в оценку даёт грамотность. которая является не достоинством, а базовым условием создания текста. чем хороша такая схема — приучает редакторов быть мечтательным корректорами. мне один такой вспомнился с ходу — по странному совпадению ему же и принадлежит авторство этой системы.

в общем, если большинство редакторов честно скажет: «вводите шаблон, мне надоело думать самому» — никуда не денемся, конечно, отольём матрицу. только слово «редактор» тогда замените на «штамповщик». чтоб людей пришлых не вводить в заблуждение.
20 июня 2011 06:46

«Да млять, твист, откуда вы знаете что критерии линейны, что они не зависимы, что их можно суммировать, что у критерия с оценкой от 1 до 10 не может быть значения 14?» — прежде чем руками всплескивать — посты читайте. у меня нигде такое не сказано, соответственно, задайте эти вопросы себе.
20 июня 2011 06:27

А разве лох это не тот, кто принимает любую посылку?
19 июня 2011 23:53

Но обосновать можно только в том случае, если обе стороны считают посылку истинной.
Что за чушь? Вы хотите сказать, что я не могу обосновать лоху его выгоду от МММ, если сам отлично знаю, какая это подстава?
19 июня 2011 23:51

14. 3APA3A
Пардон, не с вами. С олигархом каким-нибудь. То есть как это не суть? Оценивать буду я, а не олигарх. К тому же, я могу оказаться принцем Уильямом: я женат и у меня строгая мама. И что мне ваши 100000 в месяц? Для олигарха, кстати, наличие в женщине ума и амбиций — это точно минус, слишком большие расходы при разводе.
Ололо. Надо ли говорить, что второе является частным случаем первого? Если надо, то разговор окончен.
А я не написал «попытаться объяснить» или пони плохо читало? Знания передать можно всегда. Но обосновать можно только в том случае, если обе стороны считают посылку истинной. Иначе и пытаться не надо.
19 июня 2011 23:48

Я какбэ… эээ… ммм… то есть… фффуххх.

А, э, Александр, вы понимаете, что множество множеству — рознь?
19 июня 2011 23:47

Последняя ремарка, раз Вы уходите от вопроса: за каким чёртом нужно оценивать грамотность, если даже у самым крутых авторов имеется множество ошибок. Я, собственно, с этого и начал.
19 июня 2011 23:44

Как вы, возможно, догадываетесь, даже у очень крутых авторов, когда тексты попадают к корректору, они все же содержат значительное количество ошибок. Если их вообще нет — то это идеал. Но если на 10000 символов три-четыре запятые в спорных местах пропущены, то это вполне приемлемый уровень.

В принципе, я эти циферки для примера написал.
19 июня 2011 23:41

Понял, ошибки в тексте — это здорово.

Ах, да, что важнее — я так и не узнал. Не страшно.
19 июня 2011 23:35

То есть теоретически к моменту исправления ошибок он уже может быть в глубоком минусе.
Если к этому моменту текст в глубоком минусе, то это скорее всего текст, «не подлежащий восстановлению».

Да и плюс за отрицательный по сути показатель, то есть за присутствие в тексте 6-ти, 5-ти (и так далее) ошибок, — тоже кажется нонсенсом.
Что такое «отрицательный по сути»?
19 июня 2011 23:32

Пардон, не с вами. С олигархом каким-нибудь. С тарзаном. Не суть.

Объяснение — подтверждение сделанного вывода с помощью передачи недостающих у другой стороны знаний (не обязательно истинных)
Обоснование — подтверждение сделанного вывода с помощью логических заключений на основе имеющихся у другой стороны знаний (не обязательно истинных).

Ололо. Надо ли говорить, что второе является частным случаем первого? Если надо, то разговор окончен.

Обратное включение: x -> y (следование), x — имеющиеся у другой стороны знания, y — сделанный вывод. Вот такое логическое заключение передаем другой стороне, чем подтверждаем для нее вывод, поскольку второй аргумент истинен, если истинно значение первого аргумента (а другая сторона считает его истиной) и само следование (а истинность следования мы передали как недостающую информацию).

Я, конечно, могу все это расписать на Зевсе и грозах, но я все-таки надеюсь, что чье-то здравомыслие возьмет вверх над чем-то, и кто-то поймет, строго обосновать на этом свете ничего нельзя, поскольку сама аксиоматика не обоснована, и потому под «обоснованием» какбэ логично понимать «объяснение» и не более того.
19 июня 2011 23:29

Я понял, что Вы изобретаете велосипед с квадратными колёсами.

Сам кочко-транспорт мне как не критику, наверное, не нужен. Как-нибудь пешочком. Я говорил, что оценка ставится до исправления текста. То есть теоретически к моменту исправления ошибок он уже может быть в глубоком минусе. Может статься, что именно оценка за грамотность повлияет на удаление текста. Поэтому и спросил (немного другими словами), что важнее — критика на входе или произведение на выходе?

Да и плюс за отрицательный по сути показатель, то есть за присутствие в тексте 6-ти, 5-ти (и так далее) ошибок, — тоже кажется нонсенсом.
19 июня 2011 23:01

22. 3APA3A
Йо, так вам определений чтоле? Да легко.

Объяснение — подтверждение сделанного вывода при помощи передачи недостающих у другой стороны знаний (не обязательно истинных)
Обоснование — подтверждение сделанного вывода при помощи логических заключений на основе имеющихся у другой стороны знаний (не обязательно истинных).

Спорить дальше будем, или примем определения?
Хорошо, давайте добавим еще то, что она согласна на ваши условия: либо переспать один раз, либо на флирт, либо на замужество. Со мной? Значит она дура. Противоречивый набор исходных данных.
19 июня 2011 22:56

Легко. Грозы случаются, потому что гневается Зевс. Это — объяснение, но не обоснование.
Кхе-кхе, а пример обоснования тогда? Нет, не мучайтесь. Вот оно:

lurkmore.ru/images/b/b6/Religion_vs_science_we_dont_know_yet.jpg

Складывается для чего? Для замужества? Для флирта? Для переспать на ночь?
Хорошо, давайте добавим еще то, что она согласна на ваши условия: либо переспать один раз, либо на флирт, либо на замужество.

Как раз нейронной сети работа с циферками чужда.
Короче, лучше стихами занимайтесь.
19 июня 2011 22:50

24. 3APA3A
расставляйте веса, благо, у человека не хреновая нейронная сеть в голове есть (не у всех, правда).
двоешник хренов. Как раз нейронной сети работа с циферками чужда. Она решает херня/не херня. Чокнутая какаято/похожа на маму.
19 июня 2011 22:30

Вы можете поведать нам, чем «объективно объяснить» отличается от «обосновать»? Лично я — не могу. Легко. Грозы случаются, потому что гневается Зевс. Это — объяснение, но не обоснование.
Типа: умная, красивая, зарабатывает в среднем 100 000 в месяц продажей своих картин, феерически занимается сексом, не изменяет, вредных привычек не имеет, вкусно готовит. Все отлично складывается, как видите. Складывается для чего? Для замужества? Для флирта? Для переспать на ночь? Чот я совсем этого не вижу. Как минимум, все зависит от того, каких отношений я хочу от женщины, сколько сам зарабатываю и есть ли у меня время на феерический секс каждую ночь или таки мне с утра надо картины рисовать. И где объективность?
19 июня 2011 22:17

Есть субъективная оценка, которую иногда можно объективно объяснить — но не обосновать.
Зараза, вот вы вроде иногда вполне технически грамотные вещи говорите, а иногда вот такое. Вы можете поведать нам, чем «объективно объяснить» отличается от «обосновать»? Лично я — не могу.

откуда вы знаете что критерии линейны, что они не зависимы, что их можно суммировать, что у критерия с оценкой от 1 до 10 не может быть значения 14? откуда вы знаете что у этих критериев нет точки насыщения и чем больше — тем лучше? Сложить сладкость, кислость и соленость чтобы оценивать вкус — это что, правильно?
Зря приводите примеры, потому что можно найти кучу противоположных. Типа: умная, красивая, зарабатывает в среднем 100 000 в месяц продажей своих картин, феерически занимается сексом, не изменяет, вредных привычек не имеет, вкусно готовит. Все отлично складывается, как видите.

Далее, общие слова:

Никто вам не говорит, что критерии линейно суммируются, что они независимы и равноценны. Потому что никто до сих пор не назвал сами критерии. Внезапно, правда? Предлагается попробовать разные комбинации и найти подходящую.

Я, например, знаю более-менее приличный набор для прозы (описал выше, возможно, туда стоит добавить еще детализацию и актуальность темы). Я не знаю, равноценны ли они (вполне возможно, там веса нужно расставлять), и более того, я знаю, что они статистически зависимы, поскольку часто авторы, хорошо работающие на низком уровне (грамотность), как минимум неплохо работают и на высоких уровнях. Однако это не мешает мне с чистой совестью суммировать эти критерии, потому что мне-то хочется видеть текст, хороший во всех этих отношениях.

что у критерия с оценкой от 1 до 10 не может быть значения 14?
Про нормировку что-нибудь слышали? А если считаете, что один из критериев важнее другого, то расставляйте веса, благо, у человека не хреновая нейронная сеть в голове есть (не у всех, правда).
19 июня 2011 22:08

Но введение ошибок в плюс текста — это тоже мудро.
Я вас вообще не понял. Видимо, вы меня тоже. Поэтому еще раз:

Несколько всяких критериев (оригинальность, сюжет, еще чего-нибудь, элементарная грамотность).

Так вот, если грамотность на элементарном уровне у автора идеальная (ни одной ошибки пунктуационной, грамматической, орфографической), то за идеал и ставится +7.

Но это не значит, что автор и за сюжет получит хорошую оценку.

это что, критика нужна не для правки, а для реализации оценки?
Эта критика выполняет те же задачи, что и «не эта», плюс заставляет редактора обосновывать оценку подробнее, и к тому же дает автору общие сведения, где ему стоит подтянуться: то ли учебники русского языка перечитать, то ли сюжеты придумывать позаковырестее.
19 июня 2011 21:39

28.
"-7: за более чем 30 ошибок
-6: от 24 до 30 ошибок" — это что, критика нужна не для правки, а для реализации оценки? Критик поставил оценку, автор исправил указанные ошибки, а текст — в топку по набранному отрицательному кол-во баллов, кто победил-то, в конце концов? Опять про произведения забыли. Если ошибки и опечатки будут учитываться в оценке, не видать вам есениных и многих иных, не обладающих природной (или какой иной грамотностью).

«0: 7 ошибок
1: 6
2: 5» — это вообще беда, типа, у автора два раза подряд (и ты ды) текст без ошибок написан? Извиняюсь, неправильно понял. Но введение ошибок в плюс текста — это тоже мудро.
19 июня 2011 19:42

Почему бы вам, господа, не взять пример с «Избы читальни» где так:
Рубрика произведения: Поэзия -> Мир души
Оценки: отлично 21, хорошо 2, нормально 0, плохо 0, очень плохо 0

Я к тому, что рядовому автору хватит этих оценок)) Правда такая система не всегда дает простор для травли и лишает обладателя уровня «БОГА» единолично погружать текст в пучину забвения, не глядя на то, что текст понравился паре человек с уровнем, скажем, 2, но я считаю, что авторы сие переживут)))
А собрать консилиум, на котором редакторы смогут высказать И ОБОСНОВАТЬ свою оценку, всегда можно прямо в ленте.
19 июня 2011 14:20

Да не может быть никаких общих критериев. Есть субъективная оценка, которую иногда можно объективно объяснить — но не обосновать.
19 июня 2011 14:18

Да млять, твист, откуда вы знаете что критерии линейны, что они не зависимы, что их можно суммировать, что у критерия с оценкой от 1 до 10 не может быть значения 14? откуда вы знаете что у этих критериев нет точки насыщения и чем больше — тем лучше? Сложить сладкость, кислость и соленость чтобы оценивать вкус — это что, правильно?
19 июня 2011 14:16

Перечитала всю полемику, и вот к чему пришла. В общем Иро прочитала, но, как всегда, поняла все с точностью до наоборот.
19 июня 2011 14:13

редактор должен пользоваться теми критериями, которые он смог выработать в процессе изучения текстов, отстоять в дискуссиях, проверить на прочность. это хорошо, если наборы таких критериев у разных редакторов будут разные Верно. В чем я поддерживаю поднятую идею, что было бы неплохо выявить критерии, по которым оценивают редакторы, кто на что ориентируется и постараться выработать какие-то самые основные, и сделать их доступными для пользователей. То есть сделать так, чтобы редактор в обзоре на них ссылался, обосновывая оценку… А оценивал и по-ситуации (например, вряд-ли стоит применять одну систему для авторов, уровень мастерства которых разнится очень сильно) и в связи с наличием критериев. Всё равно каждый в каком-то плане смотрит «со своей колокольни», однако об основных критериях заявить стоит.
19 июня 2011 13:23

Я вот боюсь только, что при введении средней оценки по схеме Заразы половина авторов эту средневзвешенную оценку просто не вкурят. Вот он написал текст, а потом видит следующее: редактор Ваня по критерию «заебатость текста» снизил свой уровень до 3, но зато по критерию «унылость» оставил уровень 7. А вот в запятых он не понимает вообще ничего, поэтому снизил до 1. В итоге ценность для автора будет иметь разве что оценка по каждому отдельному критерию, а средневзвешенная будет обретать смысл только при условии технического образования) Если отойти от критериев и позволить критику снижать свой уровень для произведения в целом, то могут получиться ляпы: скажем, жанр заявлен как «киберпанк, юмористическая эротика», критик разбирается в первом на +7, а во втором — слабоват, и что тогда? Снова среднее выводить?))
Короче, тут еще говорить и говорить…
Идея в целом не кажется мне бюрократической утопией, ее просто нужно попробовать на чем-то обкатать.
19 июня 2011 12:46

Тем, кто недоволен средней оценкой — посмотрите еще раз на подсчеты Заразы — там отлично учитывается вес мнения редакторов.

Ратующим за разные шаблоны — я не предлагаю ввести шаблон, я предлагаю его выработать (в полемике, на основе индивидуальных наработок и прочая). Естественно, на первой итерации мало что будет работать, однако если постепенно устранять ошибки такой системы и делиться опытом, то она будет совершенствоваться, и оценки на портале все больше будут избавляться от вкусовщины.
19 июня 2011 11:00

«То бишь — оценка — первична, критика — вторична в том плане, что оценка порождает критику». из критериев рождается и оценка, и критика. придумывать бланк из 18 критериев, общий для всех — бюрократическая утопия. редактор должен пользоваться теми критериями, которые он смог выработать в процессе изучения текстов, отстоять в дискуссиях, проверить на прочность. это хорошо, если наборы таких критериев у разных редакторов будут разные — это повысит вариативность и самообновляемость критики на портале в целом, не позволит ей заплыть жиром. новые идеи, как говорится, рождаются в спорах — а откуда возьмутся споры, если у всех одно лекало?

средняя оценка поможет только средним авторам. большинство сильных текстов носят неоднозначный характер (да и исключить все нестыковки в них куда сложнее, чем в средних работах, авторы которых не ставили перед собой серьёзных задач). т.е. у таких текстов всегда будет набор из +1,+2 и +6,+7 и средняя оценка — в районе 3,5-4. у текстов средних будет кучный набор оценок +4,+5. вот и получается, что по факту разница огромная, а по оценкам — незначительная, да ещё и в другую сторону.
живой пример — 1-ое и 2-ое места в топе прозы.
19 июня 2011 10:08

Снижать уровни никто не собирается, я об этом сказала, как о неприемлемом варианте.
19 июня 2011 01:26

38.
Предлагаю снизить уровни пользователей до минимума. Начать можно с меня, я всё равно редко-редко голосую.
Может быть, тогда профессиональные редакторы будут голосовать за частушки по максимуму со спокойным сердцем. Думаю, новая политика реализуется на раз-два-три. Во-первых, все пользовательские оценки сведутся к вождению по губам (не суть — каким). Захотели редакторы — убили текст, захотели — вознесли. И как попрут сразу новые авторы на сайт — не остановишь. Мол, айда все сюда, здесь здорово, за лохов держат.
А если серьёзно. Наверное, лучше будет, если не просто снизить, а окончательно отобрать погремушки от простых авторов. А на кой чёрт они нужны будут, если ими даже глаз не выколешь.
Успехов в политике.
19 июня 2011 01:14

Перечитала всю полемику, и вот к чему пришла. Разумеется, относительно поэзии.
1) Количество критериев оценки не должно быть очень большим, максимум 4-5, дабы не было путаницы. Сколько всяких критериев в фигурном катании, а они вообще до 2х оценок ужали. Разумеется, все нюансы в таком случае трудно учесть, но о нюансах можно написать и в отзыве.
2) Нет никакого смысла снижать компетенцию редактора в числовом выражении. Как ты поймешь, что разбираешься в постмодернизме/символизме/коммунизме на 4 балла, или на 5, например? Всё просто. Не понимаешь о чем и как это оценивать — не голосуй. По статистике под каждым средним стихом с оценкой отмечается 3-4 редактора, так что проблемы с этим быть не должно, редакторы и сейчас выставляют оценки не каждому тексту в ленте.
3)Если мы применяем к редакторской оценке такие жесткие требования (и она будет выводиться как среднее арифметическое) значит, она редко будет выходить за пределы 5 баллов — соответственно, редакторы потеряют возможность влиять на топ, в случае если, например на первом месте оказывается текст, где от редакторов в среднем по 2 балла, и 10 оценок по 2 балла от рядовых пользователей.
Здесь два варианта — либо тогда снижать уровни пользователям, либо главред и заместитель не имеют права голосовать и следят за топом, чтобы в крайнем случае исправить ситуацию.
19 июня 2011 00:49

Фуск, ит вас ме.
18 июня 2011 23:06

41. ->3APA3A
не голосовать за стихи определенной тематики, жанра или автора с высоким уровнем компетенции.
Окей, но тогда я тоже не редактор. Лучше пусть у меня будет возможность высказаться по тексту, чем 7 звезд, которыми за меня будет распоряжаться главный.
18 июня 2011 23:05

Для простых смертных, например по 3й уровень, такой системы можно и не делать. А тот, кто имеет 4й и выше — достаточно давно на сайте, чтобы разобраться.

Можно требовать от редактора, чтобы он написал разбор с подробностью, зависящей от использованного уровня компетенции.

А по поводу холивора — редакторская команда должна быть командой и должно быть доверие внутри нее. Если этого нет — один хрен ничего не получится.И опять же — у редакторов может быть индивидуальная установка от гл. редактора — не голосовать за стихи определенной тематики, жанра или автора с высоким уровнем компетенции.
18 июня 2011 22:51

средний балл надо делать -давно понятно… про остальное — потом отвечу…
18 июня 2011 22:46

Эээ… пожалуй, такая формула относительного рейтинга более привлекательна. Хотя и менее демократична, разумеется.

Снижение уровня — я как бы понимаю, что сниженная компетенция уменьшит влияние голоса автора в общем рейтинге. Но меня по-прежнему напрягают три вещи, указанные ниже:
1) Усложняет систему голосования для пользователей, в том числе, для простых смертных (у которых, между тем, уровень вплоть до 4-го).
2) Редактор может себе снижать уровень, например, в два раза, но по-прежнему очень нехерово портить жизнь нормальным людям™.
3) Каждый спорный момент по компетенции — это бесконечный холивар. Нет конкретных претензий, есть высказывание «ты хуй, а не 7-ой уровень», которое сейчас в отношении хреновых редакторов выдвигается абсолютно в такой же формулировке.
18 июня 2011 22:42

Разница в том плане, что это совсем не то же самое, что имея уровень 7 поставить -3. В процентах — -3 из 3х это те же -100%.
18 июня 2011 22:37

Я чуть ниже описал как считать. А с толкованием результатов — ну что сказать. Shit Happens. Если Эдик и Яна в оценке стихов не будут снижать себе компетенцию — то будет то, что есть сейчас, «привет братан, давно не заходил, рад тебя видеть». Если будут снижать — то их оценка на результат сильно не повлияет.
18 июня 2011 22:28

Пони невнимательно считало в уме.
Пример. Имеем стихо и двух проголосовавших. Один из них 1го уровня и поставил +1, второй — 7го уровня и поставил -7. В результате будем иметь оценку -7.5 из 10 ((1-7)/(1+7))*10. Если бы был только первый голос — была бы оценка 10 из 10. Только второй -10 из 10. Идея понятна? Нет, это не тоже что проценты — так считать проще и оно учитывает любые уровни.

Со снижением уровня — предположим, что второй снизил себе уровень до 3х и поставил оценку -3. Тогда суммарная оценка будет -5 из 10 ((1-3)/(1+3))*10.

Разница понятна?
18 июня 2011 22:25

Если Ваня и Пони сказали, что у текста отрицательная образность, то, чтобы текст понравился Ване и Пони, автору нужно добавить образности. Разве это не очевидно?

И потом, никто не обязывает ограничиваться циферками. Взяли и написали, почему конкретно не +6, а +1.
18 июня 2011 22:19

Я вам только что такую же оценку привел. Только в процентах, что, по-моему, разумнее.

Оценивать свой уровень компетенции — это здорово, только боюсь, что народ ни хрена не разберется, че это и к чему.

Это во-первых. Во-вторых, редактоманы будут снижать себе компетенцию до -4, и эти -4 ставить. И кому от этого легче? Тот же Миша -7 почти никогда не использует.

А самое главное — после каждой переоцененной компетентности придется устраивать грандиозный холивор, потому что не будет видно, где же именно редактоман напортачил
18 июня 2011 22:17

Да мля, автора совершенно не интересует что у него образность 4.7. Его интересует понравился ли стихо Ване и Пони, а если не понравился — то что надо сделать чтобы понравился.

по поводу оценок: можно ввести, например, такую оценку:
10*(сумма поставленных звездочек)/(сумма уровней проголосовавших) — это будет замечательная оценка от -10 до +10 с учетом уровней. Если пони не верит — может посчитать в уме круги.

Чтобы избежать оценок -8 за евреев, можно дать редакторам (или вообще всем) возможность выставлять себе уровень компетенции для каждого конкретного стиха, т.е. чтобы он мог проголосовать не как прокачанный зам. глав. ред 8го уровня, а как чайник 1го и с чистой совестью на полную катушку поставить свои -1 никому ничего при этом не доказывая, но высказав автору полное фи. То есть, если у меня 5й уровень, то я бы мог поставить не только 5 из 5ти но и 2 из 2х в зависимости от того, насколько оцениваю свой компетентность в оценке данного стеха.

А вот если видно, что редактор не может оценить свой уровень компетенеции — тогда и надо ему устраивать перожок. Потому как пони наверняка проходило экспертные системы и знает, что способность оценить и, при необходимости, снизить свой уровень компетенции — один из основных признаков экспертной оценки.
18 июня 2011 22:01

даже самый зловредный хрыч, по идее, сможет поставить только около 0 в моем случае этот «хрыч» ВСЕГДА ставит либо -9 с пометкой «это хуйня, потому, что хуйня», либо 0)))
18 июня 2011 21:50

Ну так вот сейчас так и происходит.

Какой-нибудь тот-кого-нельзя-называть ставит "-4" и говорит только «Дочитал до середины, потом не осилил». И вот попробуй разбери потом, то ли у него какие-то основания были, то ли он не любит автора, то ли он просто редактор хреновый.

А при предложенной системе, если, скажем, у автора грамотность безупречная (проблем с грамматикой нет, времена глаголов не путает и т.п.), то даже самый зловредный хрыч, по идее, сможет поставить только около 0 (+7 за все объективное, -7 за «моя душа вас не поняла»).

Ну а если этот зловредный хрыч вдруг возьмет, да и ляпнет -7 по грамотности (за безупречные знаки препинания), то тут-то его предвзятость сразу и раскроется — можно даже не требовать пояснений к очевидно абсурдной оценке.
18 июня 2011 21:40

Ден, а куда вы денете «человеческий фактор», я имею ввиду «не читал, но плюсую по максимуму — это ж ИВАН ИВАНЫЧ!!!» и " не читал и не стану, там за одну фамилию -10, эта скотина мне все клаузулы пересчитало!!"))))
18 июня 2011 21:29

Действительно, какая?
18 июня 2011 21:22

А, вы про общий рейтинг.

Я вообще-то говорил про индивидуальный рейтинг. То ись, любой редактор, который взялся всерьез разобрать текст, использует такую систему, независимо от чужих оценок.

Что касается общего рейтинга, то я больше полугода назад предлагал ввести относительный рейтинг наряду с абсолютным. То есть, если три редактора с диапазоном -7 +7 поставили тексту +4, то его относительный рейтинг будет ((4/7 + 4/7 + 4/7)/3)*100% = 57.14%

К сожалению, поскольку тогда у мастеда не было времени на внедрение такой штуки, а сейчас — у меня нет знаний, то придется с ней как-то повременить.

Впрочем, Эдуард обещает переезд на новую систему, я покалякую с новыми разработчиками, авось, удастся реализовать эту идею за лето.
18 июня 2011 21:19

тссс, не пали меня))
18 июня 2011 21:15

57.
в гнесинском училище вводили систему многокритериальных оценок, в результате получалось, что середняки получали больше, чем таланты.

Исходя из этого факта я могу предположить, что любая МК-система — это всего лишь попытка оценивающего свалить с себя ответственность.

Впрочем, какая мне разница.
18 июня 2011 21:15

Вот, только бы на шею сесть…
18 июня 2011 21:15

Например, со 100% до 70% (если треть критериев может как-нибудь объективно оцениваться) это уже очень похоже на «чтобы было»…
Если что-то вводить, надо очень тщательно проработать, цель ведь, максимально убрать субъектив в оценках — значит надо постараться, чтобы действительно, максимально…

Пони, приходите на пикники покатайте нас и обсудим…
(это я не к тому, чтобы дискуссию свернуть, я только за продолжение — а как бы намекаю, что кого-то на встречах литкульта давно не видно)
18 июня 2011 21:14

хм. а если пользователи ставят шесть раз 1, три раза 3, редакторы 2 по 5, 3 по 4, эдик и яна 10, зараза минус три и денис минус 6 — это как считать?
18 июня 2011 21:13

Если три редактора поставили 4, то это 4 а не 12.
18 июня 2011 21:11

Здравая мысль только одна и она много раз озвучивалась — надо считать среднюю оценку, а не суммарную.
Пардон, это как?
18 июня 2011 21:10

Не, надо так чтоб стихо никому не понралось, все считают что куйня, но все заплюсовали, потому что там сюжет и запятые расставлены.

А если мы вместо отрицательных оценок будем просить оценивать текст тех, кому понравилось, то у нас отрицательных рейтингов вообще не будет.
Да щаз. Для этого надо чтобы хоть кто-то заплюсовал. Если всех стошнило — можно ставить -7. Но какой смысл оценивать, например, верлибры так же, как оценивается силлаботоника и одними и те ми же людьми? Или шуточные стихи оценивать по одной схеме с сонетами?

Здравая мысль только одна и она много раз озвучивалась — надо считать среднюю оценку, а не суммарную.
18 июня 2011 21:09

Полностью согласен с Заразой. Ничего не получится, пока не будет исчерпывающей схемы.
18 июня 2011 21:08

Короче, я попробую так оценивать тексты, посмотрю, чего выйдет.
18 июня 2011 21:05

Ну я вот сказал ниже: тут как в фигурном катании — нельзя убрать субъективный фактор (точнее, фактор «вкусовщины») полностью. Но можно снизить его влияние. Например, со 100% до 70% (если треть критериев может как-нибудь объективно оцениваться). И тогда даже оценка предвзятого лентяя-«критика» будет примерно на 30% объективна.
18 июня 2011 21:03

Мне кажется, пони просто хочет сказать:
«Давайте обосновывать звёздочки, друзья, потому что
Stars work magic»
18 июня 2011 21:00

Как вариант. И все же, предлагаю на стихах таким образом пока не экспериментировать. Почему? Потому что по идее это такой же метод тыка, только тык производится в пределах параметров. Которые не всегда можно посчитать. Почему я выставил за оригинальность идеи 5 а не 7? Если количество тропов еще можно посчитать, то как посчитаешь оригинальность? По количеству результатов поиска в Гугл? :-о
18 июня 2011 20:58

Я, наверное, неправильно выразился. Человек, который в том примере «не читает про евреев» — он не просто уходит. Он ставит -7.

А если мы вместо отрицательных оценок будем просить оценивать текст тех, кому понравилось, то у нас отрицательных рейтингов вообще не будет. доброчан будет.
18 июня 2011 20:55

Ну а по-моему это просто вопрос плохой организации. Если кто-то из редакторов не читает про евреев — пусть не читает и попросит кого-то другого. Можно и вообще специализацию ввести — кто в евреях разбирается — пусть оценивает евреев.
18 июня 2011 20:51

Нужно устроить показательную дуэль, в которой оценки будем выставлять только предложенным способом. Вот и посмотрим, работает или нет.
18 июня 2011 20:48

ЗАРАЗА, подобные системы внедряются постепенно и постоянно дополняются и корректируются. Я же не говорю, а давайте сделаем это обязательным (и вообще в движке сайта реализуем).

Просто предлагается какбэ редакторам, которые оставляют отзывы типа: «извините, у вас тут про евреев, читать не буду» — писать более конкретные и подробные отзывы. А этот список критериев будет хорошим ориентиром для них и для авторов, чтобы понять, что же конкретно не понравилось и что хорошо.
18 июня 2011 20:48

Izoomka, оцениваем ваш очень хороший текст про очень банальный закат (по списку ниже):

1) +7
2) -7
3) +7
4) +7
5) +7
6) +7
7) +7
8) +7
9) +7

Итого: (8*7 — 7)/9 = 5.444444 и округляем до пяти

То есть, +5. Не так уж и плохо, правда? А если не очень уж и такой банальный закат, то можно по второму критерию поставить 0, и в итоге получить +6.
18 июня 2011 20:42

Я уже твисту тыщу раз говорил по этому поводу. Чтобы подобным механическим способом оценивать текст по какой-то системе, надо быть уверенным что:
1. Данная система является полной (т.е. нет какого-нибудь свойства «заебатость текста», которое у автора >9000 и перебивает все остальные недостатки)
2. Автор пишет стихи руководствуясь данными критериями.

А пока единственный критерий оценки это ИМХО. НО. Там, где что-то не нравится или офигеть как нравится — есть смысл пытаться понять почему. Вот так-то, лашатка. То бишь — оценка — первична, критика — вторична в том плане, что оценка порождает критику.
18 июня 2011 20:40

Попробовать можно. Вопрос в том, скажется ли это хоть как-то на отношении авторов к редакторам. Если будет так: "Раньше, конечно, да… Раньше все были козлы, а теперь — некозлы Новая система оценок заставила редакторов выражаться более предметно и ставить оценки более объективно", — то да, гуд, систему оставим.

Вообще, сильно смахивает на эпизод «Общества мертвых поэтов», где значимость стиха определялась через интеграл. Экспериментировать лучше на прозе) И, кстати, можно добавить пункт «Соответствие заявленному жанру». С весом, скажем, 0.05))
18 июня 2011 20:40

Я это, собственно, предложил как выход из ситуации в стихах (когда очень-очень долго Михаил оценивал тексты по принципу «поняла ли моя душа вашу душу»), не приводя вообще никакого анализа. А вот дали бы ему бланчик типа того, что ниже, так он бы одним проставлением циферок неплохую рецензию бы смог написать (по сравнению с нынешними его разборами).

Что касается Прозы, то это здорово, когда общее впечатление читателя о тексте можно понять по отзыву без всяких цифр. Но вот иногда берет злость на автора (али любовь), и хочется ему влепить несправедливую оценку, а потом оглядываешься на список критериев и, прежде чем вынести окончательный вердикт, пересчитываешь показатели. А пока пересчитываешь, остываешь и становишься объективнее.

Это я, конечно, утрирую. Но вот в фигурном катании, например, это стало выходом из тупика — когда вместо общей оценки «душой» ввели две оценки: артистизм (все также оценивается «душой») и техника, которая оценивается строго объективно.

Совсем душу исключить не удалось, однако ее пагубное влияние было сокращено вдвое.
18 июня 2011 20:37

Как много цифр :-(

Актуальность и оригинальность темы и идеи.
а если автор написал про любовь или про закат, но хорошо? по этому параметру минус ставить, который потом скажется на оценке?
и тропы зачем делить?

В общем, тут надо оочень серьезно подумать, прежде чем что-то подобное пытаться вводить.
18 июня 2011 20:29

отзывы — да, а вот оценки мне с ними трудно соотносить ><
я бы их вообще не ставила, но так топ у нас в уг превратится, потому что прозу читают редакторы и 2, 5 человека (уже говорил)
18 июня 2011 20:26

Вы то же самое делаете в разборах, только циферку не ставите. Разбор последнего текста Макса Исаева, например, посмотрите, у вас как раз отзыв разделен на разбор текста с точки зрения разных качеств (композиции, сюжета, речевых ляпов).
18 июня 2011 20:23

Каждому редактору заполнять такой бланк о___________О
это как больничный? или судебный?
я вообще не умею оценки ставить
18 июня 2011 20:21

Ну и к стихам, конечно. Только там критерии другие должны быть. Например:

1) Плотность образов
2) Актуальность и оригинальность темы и идеи.
3) Отсутствие штампов.
4) Ритмическая грамотность
5) Рифмы (если необходимы)
7) Количество, качество и оригинальность звуковых тропов (звукопись, не считая рифм)
8) Количество, качество и оригинальность образных тропов (метафоры, эпифоры и т.д. и т.п.)
9) Связность текста, невозможность декомпозиции.

Я, правда, в стихах не силен. Я просто принцип предлагаю:

Каждому редактору заполнять такой бланк — по такому критерию такой-то балл, по другому — другой и т.д. А итоговый балл — среднее арифметическое.
18 июня 2011 20:18

Она не умерла)) она спит (это я про группу)
так это только к прозе предложения?
18 июня 2011 20:11

ahem
18 июня 2011 20:09
X