www.romver.ru / Раздел Статьи / Рейтингуй, а то проиграешь!

Известный предвыборный слоган "Голосуй, а то проиграешь!" отличается удивительной неопределенностью. В других политических слоганах еще мелькают какие-то обещания или звонкие ключевые слова, символизирующие вечные ценности. А тут - просто игра, непонятно за что. Хорошо, что я никогда не ходил на выборы. Оттого меня никогда и не мучил вопрос, что же я выиграл в этом аттракционе. А некоторые люди, между прочим, до сих пор кривят лицо, когда вспоминают, за кого голосовали в былые годы.

Недавно этот слоган снова стал просачиваться в нашу жизнь, но уже через Интернет. И если в оффлайне речь шла о столь милой русскому человеку игре в выбор одного царя, то интернетовская версия "голосуй на каждом шагу" - это явная пародия на американскую демократию. Что неудивительно: именно оттуда пришел Web 2.0, с его огромными помойками "пользовательского контента".

В ближайшее время Рунет будет переживать вторую стадию этой болезни. Адепты Вебдваноля внушают нам, что фильтровать мусор можно так же легко, как порождать его - то есть чужими руками, руками самих пользователей. Пусть, мол, они ставят оценочки. На каждом шагу. За фильм, за рецензию об этом фильме, за комментарий к этой рецензии и за личность комментатора. Все и везде пусть оценивают. Пусть каждый школьник почувствует себя могущественной училкой! И это якобы позволит разложить весь контент по полочкам.

Ниже я изложу четыре принципа, при исполнении которых такой коллективный разум мог бы работать. Но для начала - пара картинок, когда эти принципы не соблюдаются, а просто берется заморская машинка и ставится на наши деревянные рельсы.

Маленький Будда

"Внутри Гудмэн увидал большую доску с именами нынешних
государственных чиновников Траная и с указанием их постов.
Рядом с каждой фамилией находилась кнопка. Дежурный
объяснил, что граждане путем нажатия кнопки выражают
свое неодобрение действиям того или иного чиновника.
Нажатие автоматически регистрируется в Историческом
зале и навсегда клеймит провинившегося".

(Роберт Шекли, "Билет на планету Транай")

18 апреля прошлого года я послал Денису Крючкову статью "Превед, новый сервез!" - о том, как правильно выбрать имя для стартапа и стать через это успешным пацаном. Буквально в тот же день Денис зарегистрировал домен Habrahabr.ru. С тех пор меня не покидает ощущение, что шутка моя была неудачной. Если бы я послал тогда Денису другую статью - например, вот эту - его проект был бы успешнее. Потому что дело не в названии, конечно.

Увы, теперь "Хабр" вряд ли сможет исправить ту ошибку с пользовательскими оценками (кармой), которая вылилась весной в прогнозируемый скандал. Один из активных членов сообщества перетащил на "Хабр" нашу статью. Эту невинную новость о свадьбе руководитель "Хабра" подверг цензуре, с нарушением собственных правил.

Дальнейшая перепалка привела к тому, что участники сообщества понизили карму самому Крючкову - она упала от 150 до отрицательных значений, из-за чего он (по его же правилам) потерял право публиковать что-либо на своем сайте. После чего руководитель проекта просто забанил аккаунты всех протестующих, а свою карму вручную поднял до бесконечности.

Так участникам проекта показали, что их оценки, мнения - все это фигня. Тему Web 2.0 в данном случае можно считать закрытой. Теперь вместо естественной самоорганизации сообщества его будут усиленно надувать через трубочку, превращая "Хабр" в рекламный придаток Mail.ru. Вы удивились? А ведь вас предупреждали. Следующая ваша остановка - Африка.

Впрочем, сделать пользовательский рейтинг бессмысленным может не только ручной волюнтаризм, но и "синдром бешеного робота". Возьмем, к примеру "Яндекс", в котором работает множество великих ученых-роботологов. В сервисе поиска по блогам у них имеется рейтинг цитируемости СМИ. Фактически, это и есть пользовательский рейтинг - когда блоггеры упоминают сайт, они как бы за него "голосуют".

Наше издание обычно находится в этом рейтинге в районе 30-го места. Однако примерно раз в месяц происходит необъяснимое: "Вебпланета" вдруг исчезает с первой страницы рейтинга, упав сразу на несколько сотен позиций. Через несколько дней все возвращается обратно. Хотя ни посещаемость, ни цитируемость издания никуда не прыгали так резко. Вот как раз вчера у робота "Яндекса" настали очередные "месячные" - мы опять слетели аж на 342 место. Хорошо, что моя работа не требует отчетности по рейтингам. А будь я, скажем, Натальей Лосевой - пришлось бы, наверное, рыдать ежемесячно по воле бешеной машинки.

Но и это еще не самый тяжелый случай. Допустим (хотя бы на миг), что никто не лезет с ручным подкручиванием рейтингов, и даже робот не бесится. Умный горшочек сам по себе варит... а что именно?

Спасти нерядового Данилкина

"- Все государственные служащие, - объяснил Мелит, - носят
медальон - символ власти, начиненный определенным количеством
тессиума - взрывчатого вещества, о котором вы, возможно, слышали.
Заряд контролируется по радио из Гражданской приемной. Каждый
гражданин имеет доступ в Приемную, если желает выразить
недовольство деятельностью правительства. - Мелит вздохнул. -
Это навсегда останется черным пятном в биографии бедняги Борга.

- Вы позволяете людям выражать свое недовольство,
взрывая чиновников? - простонал испуганный Гудмэн".

(Роберт Шекли, "Билет на планету Транай")

26 июня в "Билингве" прошел круглый стол на тему: "Рекомендательный сервис – средство борьбы с деградацией вкуса". Мероприятие было посвящено сервису коллаборативной фильтрации IMHOClub.ru (о котором я уже рассказывал довольно подробно). Но дискуссия в "Билингве" сосредоточилась не на технологии, а на том, как вообще формируются вкусы, что на них влияет, и какие есть способы сдержать потоки мусора. Полный текст дискуссии можно прочесть здесь, я же отмечу один только забавный момент.

Борис Барабанов, обозреватель газеты "Коммерсантъ", спросил, будут ли в рекомендательную систему включать мнения экспертов - то есть людей, которые уже как-то доказали свой хороший вкус (а не просто "совпадение любимых авторов", как дает автоматика).

Руководитель проекта Александр Долгин ответил, что профессиональные рецензии тоже останутся:

"Мы стремимся к ситуации, когда на каждую книжку и каждый фильм можно будет прочитать как минимум три-четыре профессиональных рецензии. Со временем я могу сделать вывод, что мне интересно мнение, допустим, критика Данилкина, значит, я буду читать книги, которые высоко оценил Лев Данилкин. Это важно. Критик – это такой же автор".

Барабанов, однако, продолжал спрашивать, будучи не по-детски обеспокоен судьбой профессиональных критиков. Он заметил, что сейчас в СМИ распространены два способа озвучивания предпочтений: либо печатные рецензии, либо звездочки рейтинга. Но читать тысячи рецензий - затруднительно. Потому было бы интересно "договориться с максимальным количеством регулярно публикующих рецензентов о принятии для всей России системы звезд, вроде той, что существует в крупных западных медиа-сообществах".

Тут со свойственной нескромностью в дискуссию влез я. И заметил, что система коллективной пользовательской экспертизы, о которой идет речь, может вообще уничтожить газетных критиков. Но Долгин снова успокоил Барабанова: критики все-таки полезны, и им еще дадут пожить, в качестве дополнения к сервису.

Спустя три недели после этой дискуссии "Афиша" выкатила свой новый сайт с рейтингами "в пять звездочек". Однако Барабанов-то просил других звездочек - для экспертов. А тут их дали ставить всем пользователям. И опять судьба критика Данилкина взволновала все прогрессивное человечество, на этот раз в лице Олега Кашина:

"Интересно, а кто это вообще придумал - что сайт, на котором рецензию любимого автора нужно искать среди откликов типа гостевой книги, сайт, содержание которого зависит от сотен каких-то левых людей и так далее - что такой сайт лучше/интереснее/полезнее обыкновенного нормального сайта, в котором в разделе "расписания" можно посмотреть, где какое кино идет, а в разделе "рецензии" прочитать рецензию Данилкина?"

Успокоить Кашина придется мне. Кашин! Люди, которые все это придумали, знают твой вопрос. Другое дело, что они, похоже, не знают ответа. Я так сужу по высказыванию одного из молодых руководителей космической станции "Афиша" - после многолетней работы над новой версией сайта они открыто приглашают на работу тех, кто умеет считать и выводить агрегированные оценки.

Про Данилкина, правда, там ни слова. Но уже оптимистично звучит - оне хочут выводить. А это значит, что не пройдет и пары лет, как в российские вебдванольные проекты начнут нанимать тех, кто там действительно нужен. Математиков.

Правила виноделов

Теперь, как и обещано, несколько полезных советов про машинки оценок. Сразу скажу, почему не хочу приводить успешные западные примеры (которых море). Во-первых, чтобы избежать любимого нытья наших кулибиных - дескать, у них там это давно развивается, а мы только начинаем, мы можем ошибаться и т.д. Это известная отмаза для освоения бюджетов через любые "инновационные проекты" - но она требует закрыть глаза на то, что буквально рядышком наши давно делают, и все работает.

Во-вторых, когда речь идет о работе с сообществами, я не верю в универсальные решения, которые можно разом "инстальнуть", и все завертится. Подходящая система пользовательских оценок должна "вырастать" в самих сообществах, которые могут быть очень разными и по теме, и по составу. Поэтому я напишу о той работе с сообществами, в которой сам участвовал.

Что нужно: понятный конечный продукт

1) общий результат для проекта - это то, что получается в результате обработки оценок. Это может быть каталог лучших статей или каталог сайтов, новые органы самоуправления или новый логотип, или просто подборка лучших фотографий по теме. Это - продукт фильтрации, избирательная память сообщества.

Меня могут упрекнуть, что эти примеры с сайта Eva.ru относятся к "голосованиям / опросам" (когда оценочный механизм организован отдельной страницей), а не к "оценкам / рейтингам" (когда машинка привязана к каждому объекту). Но я сейчас говорю не о технологии, а о том, что должно ей предшествовать - понимание желаемого продукта. И только исходя из этого можно строить механизм.

Отдельные голосования, например, удобны сравнительными оценками - человеку дается сразу несколько объектов, а не просто "оцени эту статью по пятибалльной шкале" (ну, поставил я "пять", а потом увидел что-то гораздо лучше - и что ставить?). При этом наборы объектов в отдельном голосовании можно менять от случая к случаю - сравнивать парами или десятками, в один тур или в три, победителей тоже может быть разное число, награды разные и т.д. Таким образом, оценочная система еще до запуска настраивается на конечный продукт в зависимости от контента.

Очевидно, какие-то интересные продукты можно получить и из рейтинговых систем, привязанных к каждому объекту. Однако, глядя на модные рейтинги в "пять звездочек", я обычно вижу один скучный результат - если число голосующих больше десятка, то общая оценка всегда будет "три" или "четыре". Прогуляйтесь для интереса по сайту Afisha.ru и попробуйте найти фильм с другой общей оценкой. Хрена с два! Везде нормальное распределение, средняя температура по больнице. Никакой информации такой рейтинг не несет. Зачем тогда мутить сложный инструмент голосования? Программа для генерации картинки "три или четыре звезды из пяти" занимает одну строку.

Да, вспомнил: выгодой для проекта является также и посещаемость. Но рейтингование вряд ли тут поможет. Баннеры с голыми бабами и другие простые, всем известные способы накрутки гораздо эффективнее, чем приглашение пользователя ставить оценки и разглядывать вечные "три или четыре звезды".

2) бонус для пользователя - ведь далеко не каждый пользователь так радеет об "общем деле", чтобы рейтинговать и голосовать ради какого-то невнятного будущего и общего контента. Тем более если результаты через месяц - кто будет ждать? Нет, пользователя надо стимулировать персонально, и желательно сразу.

В упомянутых голосованиях на Еве.ру их награждают виртуальными "монетами" за участие. Более крупную порцию "монет" получает автор-победитель. Причем монеты не "пустые", они дают дополнительные возможности на сайте. Это существенно: виртуальная валюта должна быть хоть немного "твердой", хоть чем-то обеспечиваться. Иначе будет как на "Хабре", где могут поменять циферки вручную, или вообще аккаунт снести - значит, ценности у такой "кармы" нет никакой.

Еще более успешны стимулы, которые дают немедленную пользу (а не отложенную, как виртуальная валюта). В сервисе IMHOClub.ru пользователь вознаграждается за рейтингование книг тем, что получает в ответ рекомендации новых книжек по своему вкусу. Информация в ответ на информацию - это уже интересная сделка, а не пустая игра.

Чего не нужно: уравниловки и накруток

3) Неоднородные голоса - чтобы голос эксперта не потерялся в толпе новичков и спамеров, у голосов должен быть разный вес. Возможно, кто-нибудь другой на моем месте привел бы здесь ряд навороченных формул. Но я хочу обратить внимание на другое - даже простых механизмов достаточно. На Еве.Ру их всего три.

Во-первых, "статус" и "опыт" пользователей видны в форумах еще до чтения сообщений, на странице заголовков. Так что человек, задавший вопрос, может сам построить себе "экспертную оценку" без машинки. Он может прочесть все ответы, или только опытных пользователей, или вообще только ответы ОРов (общественных редакторов).

Во-вторых, параметры "статуса" и "опыта" применяются в анти-накруточном барьере при голосованиях. Там можно и задавать время регистрации (например, голосуют только те, кто пробыл на сайте на менее полугода), и разные другие характеристики. Самое интересное, что параметры эти не разглашаются - так что накрутчики, ежели таковые окажутся, все равно не знают, каких пользователей надо "подговорить" в данном конкретном голосовании.

Ну и третье: в конкурсах, помимо победителей общего голосования, есть еще "выбор редакции". Опять-таки, экспертный отбор, который не тонет в общем хоре.

Если же вам все-таки хочется более полной автоматики, такие примеры тоже были на "Вебпланете". Можете посмотреть, какими формулами пользуется Андрей Иванов в своей системе "Нейрон" - там даже учитываются люди, которые хотят заменить авторитет деньгами! Еще более навороченный вариант, когда "валюта авторитета" (whuffie) вычисляется с учетом распределенного веса всех транзакций в социальной сети, можно найти в системе Bitchun.org - о ней подробней рассказано в обзоре "Web 3.0: Живой поиск".

Кстати, на Западе подобные системы сбора "виртуальных репутаций" (так и хочется назвать их "вафлями") уже давно в моде. Недавно Брюс Стерлинг, публикуя ссылку blog.rapleaf.com в своем блоге, прокомментировал это вот так: "Я вижу, что вафельная индустрия официально стартовала". Но мы-то в России, товарищи! Сюда вафельный бум докатится только в следующем году. Не говоря уже о том, что сама идея переноса "репутаций" из одного сообщества в другое - очень сомнительна.

Короче, не пытайтесь делать этого дома без специально обученных людей! Начните лучше с простого и локального. Хотя бы с фильтрации голосующих по времени регистрации в сервисе.

3) Многомерные оценки - даже малые дети знают, что любой объект нашего мира обладает множеством разных качеств. И давным-давно во многих конкурсах используется несколько разных номинаций. Способ древний, но фанаты рейтинговых систем частенько забывают о нем. Им почему-то проще сто раз переделывать машинку одного всеобщего рейтинга, чем ввести несколько разных шкал. Хотя казалось бы, мы не в Центризбиркоме - в Сети не нужно печатать бюллетени и сколачивать урны, гибкий цифровой материал кода позволяет делать что угодно буквально из пустоты. Так в чем проблема?

Ах да, я забыл: считается, что пользователь Вебдваноля - он как бы умственно-отсталый, ребенок-инвалид. Считается, что он всю жизнь говорит на языке "+1", и в любом сервисе ему нужна лишь одна простая кнопка, ну максимум три. Как в голосовалке "выбери три звездочки из пяти".

Или может, виноваты все-таки создатели этих сервисов, не сильно отличающиеся от пользователей? Ведь само придумывание разных шкал - это уже работа по структуризации контента. А у вебдванольцев не принято работать с контентом, это должны делать за них сами пользователи. Теоретически.

В общем, рейтингование по нескольким шкалам - это либо далекое будущее, либо удел специализированных проектов для умных. Ну или для тех, кто хорошо стимулирован на дополнительную деятельность.

Хотя в какой-то мере таким многомерным рейтингом можно считать тот же ИМХОКлуб. Нужно лишь догадаться, что предметом рейтинга там являются не книги, а сам пользователь, его вкус. А каждая книга с ее оценками - это шкала отдельного качества. После оценки нескольких книг пользовательский профиль выглядит как "ежик", где каждая "иголка" - это оценка по одной шкале. Но оценки не склеиваются, вот что важно. Вместо этого сравниваются сами "ежики" пользовательских профилей. И находятся похожие по форме - то есть профили со сходным вкусом.

Сломать такую систему (имитировать многомерных "ежиков" нужного вида) значительно сложней, чем заспамить простой одномерный рейтинг.

Лошадь в тумане

Я специально оставил метафору с ежиками на самый конец статьи. Это волшебный образ, на самом деле. Если вы не поняли, о чем написано выше, и в штате вашего "социального сервеза" по-прежнему нету математиков, но ваше руководство упорно требует создания модной рейтинговой системы - сделайте вот что. Возьмите фломастер и смело нарисуйте на доске в переговорной большого ежа. И несколько цифр вокруг его иголок, как бы контуры тумана. Дальше все завертится, обещаю. На полгода как минимум. За это время вы успеете найти новую работу, подальше от Web 2.0.

А о волшебных пчелах я в другой раз расскажу. Тем более что мы уже рассказывали о муравьях, а это почти одно и то же.

взято с webplanet.ru