Обратная связь

Новый способ повышения мудрости толпы

Автор: Сергей Карелов
Источник (текст приводится в редакции)

Новое исследование пяти университетов США и Германии совместно с двумя институтами (Санта-Фе и Макса Планка) — это очередной, уже пятый за последние два года прорыв в области технологий повышения коллективного интеллекта.

Мудрость толпы (явление, известное и описанное давным-давно и ставшее страшно популярным после одноименной книги Шуровецки) лежит в основе краудсорсинга — самого на сегодня проработанного класса технологий построения и эксплуатации коллективного интеллекта для принятия решений.

Последние 2 года стали для краудсорсинга переломными. Были опубликованы 4 прорывные исследования, способные произвести революцию в краудсорсинге и, кардинально повысив его эффективность, превратить коллективный интеллект в признанный механизм принятия сложных решений в XXI веке. Но не хватало последнего звена — экспериментального подтверждения матмодели. Как это было до 1919 г., когда предсказанное Эйнштейном гравитационное отклонение света было подтверждено.

И вот последнее звено, наконец, получено в пятом прорывном исследовании краудсорсинга, направленном на искоренение трех присущих ему принципиальных недостатков:
1) информационная зашумленность (умные мысли, идеи и высказывания тонут под гнетом тысяч простых и банальных высказываний);
2) низкий КПД коллективной работы (итоговый интеллектуальный уровень толпы легко опускается до  уровня её самых «слабых» участников);
3) склонность большинства присоединяться к самому популярному мнению.

Ключевыми причинами всех трех названных врожденных болезней классического краудсорсинга, так или иначе, являются (поодиночке и в совокупности):
А) индивидуальная предвзятость;
Б) социальное влияние (думать, как твое окружение, куда проще, чем проявлять оригинальность).

Поиски эффективных способов борьбы с 1–3 (и соответственно, с А и Б) — главная задача современных исследований о повышении эффективности коллективного неэкспертного (массового!) интеллекта — «мудрости толпы» и краудсорсинга, как способа извлечения и интеграции этой мудрости.

Новое исследование:
✔️ Впервые научилось измерять оба фактора (А и Б).
✔️ Предложило корректирующие поправки, существенно снижающие влияние обоих факторов.

Т.е. представьте стрелка, прекрасно умеющего стрелять в тире по статичным мишеням, но не умеющего учитывать при стрельбе на открытой местности расстояние и скорость движения цели. Сегодняшний классический краудсорсинг — это стрелок, учившийся стрелять в тире и мажущий при стрельбе в поле по живым зайцам, а новое исследование дает стрелку таблицу поправок, позволяющих учесть расстояние и скорость зайца в процессе прицеливания. Результат замечательный. Точность стрельбы куда выше.

Авторы исследования предложили 3 группы поправок к агрегированным оценкам краудсорсеров:
— поправка среднего значения (усреднения всех оценок);
— поправка медианного значения;
— поправка для максимизации вероятности правильной оценки.

Третья из поправок — самая точная (см. рисунок, источник).

Два важных замечания

Первое. Предложенный метод выработки поправок применим пока что лишь для числовых оценок, делаемых краудсорсерами (например, оцените на глаз, сколько горошен в этой банке). А это — лишь весьма ограниченный круг задач. Куда чаще от краудсорсеров требуются нечисловые оценки или предсказания. Однако метод весьма перспективный, и со временем его попытаются перенести на нечисловые оценки.

Второе. Инструментальные методы нивелировки индивидуальной предвзятости и группового влияния при краудсорсинге стали исследоваться на Западе лишь в середине 2010-х.

В то же время в России, специально для решения задач нивелировки индивидуальной предвзятости и группового влияния, еще в конце 2000-х был разработан оригинальный метод, названный синтеллектуальный краудсорсинг. Более того, этот новый, куда более эффективный метод краудсорсинга в начале 2010-х был реализован в программной платформе Witology, на которой были выполнены под сотню коммерческих проектов.

Индивидуальная предвзятость краудсорсеров, при работе на платформе Witology, выявляется и минимизируется с помощью продвинутой системы рейтингов участников, определяющей «вес мнения» каждого из них в интегрированном «мнении толпы». Ну а социальное влияние при выработке собственного мнения краудсорсером, работающим на платформе Witology, вообще сведено к нулю. Пользовательский интерфейс участника не позволяет ему видеть ни популярность чужих мнений, ни даже сами эти мнения. Они становятся доступны для всеобщего обозрения только после фиксации собственного мнения каждым из участников. В результате, «Закон Матфея» на платформе Witology не действует.

Мне, как автору синтеллектуального краудсорсинга, конечно, приятен этот достаточно редкий пример хотя бы временного превосходства российской коммерческой IT технологии над западной...

Ссылка на исследование (также см. в sci-hub).

Ссылки на посты о предыдущих революционных прорывах:
— 1-й прорыв — кардинальное изменение базового алгоритма краудсорсинга (два вопроса вместо одного)
— 2-й прорыв — изменение мотивации краудсорсеров (вознаграждение за «особое мнение»)
— 3-й прорыв — методика выделения в «толпе» т.н. «информированного меньшинства»
— 4-й прорыв — повышение качества коллективных решений за счет увеличения доли «упертых несогласных»

24 апреля 2018 года
  • Опубликовать в Facebook