Обратная связь
crowdsourcing DARPA Enterprise 2.0 facilitator Gartner Google IBM idea management Imaginatik knowledge management open innovation social business Social Organization Social Platforms Spigit tacit knowledge wit-проект Witology Агенство стратегических инициатив бизнес-лига Деятельное сообщество инвестиции инновации кейсы коллективный интеллект команда Witology краудрекрутинг краудсорсеры краудсорсинг краудсорсинг-проект краудсорсинг-проекты краудфандинг менеджмент идей метаразум методология мотивация Национальная предпринимательская инициатива НПИ облачное предприятие облачные предприятия общественное благо открытые инновации отчеты предсказания приз производство знаний публикации краудсорсеров рынки предсказаний Сбербанк семинар синтеллектуальный краудсорсинг Социально-семантические сети Социальное предприятие социальные платформы социальные сети социальные технологии Социальный бизнес социо-семантическая сеть ТеМП фасилитатор футбол эпоха социализации и коллаборативизации

Механический турок: как, зачем и почему?

Просмотров4778
Комментариев8

04d64f1a6665d205adb8e462b6c23df1.png
Иллюстрация с сайта vator.tv

В 2011 году в Гонконге прошла 4ая международная конференция по интернет-поиску и разработке данных  (Web Search and Data Mining) Ассоциации Вычислительной техники (Association for Computing Machinery) . В  рамках конференции был проведен семинар по краудсорсинговым технологиям для поиска и разработки данных (Crowdsourcing for Search and Data Mining). Мы обнаружили несколько интересных материалов с семинара, которыми и хотим поделиться с вами!

bef11bc8c9a7c8ee884f9de0dc625c16.png
Crowdsourcing for Search and Data Mining

На всех одиннадцати выступлениях семинара речь шла оМеханическом Турке, краудсорсинговой площадке Amazon (о нем мы уже немножко рассказывали). Механический Турок – это сетевой сервис, позволяющий заказчикам выдавать простые задания большому количеству человек. Как правило, за выполнение задания выплачивается символическое вознаграждение. И поскольку задания предельно простые и количество заданий на одного пользователя не ограничено, участник может неплохо заработать…

Типичные задания для Механического Турка – это «задачи человеческого интеллекта» (human intelligence task, HIT): расставить метки в коллекциях изображений, отметить на изображениях определенные объекты, присвоить рейтинг сайтам, написать очень краткую аннотацию и так далее. Человек легко решает такие задачи, а для машины они слишком трудны. Так, Механического Турка используют для создания обучающей выборки для задач машинного обучения: например, размеченную коллекцию фотографий или набор транскрибированных текстов. Этот сервис вызывает особенный интерес у исследователей, ведь на его примере можно действительно проводить анализ краудсорсинговых технологий!

В рамках семинара исследователями C.  Eikhoff и A.P. de Vriesбыли рассмотрены проблемы краудсорсеров-вредителей (статья: How Crowdsourcable is Your Task? C.  Eikhoff, A.P. de Vries).
Так, некоторые пользователи обманывают заказчиков заданий, халатно выполняя как можно больше заданий ради заработка. Разумеется, такое поведение пользователей снижает качество получаемых данных.

Исследователи зафиксировали ряд способов, которые используются для борьбы с вредителями:

1. использовать данные, соответствующие золотому стандарту – т.е. включение в задание нескольких вопросов, ответы на которые известны заранее. В случае неверного ответа пользователя на этот вопрос вероятность того, что он обманывает (выбирает ответы случайным образом) резко возрастает;

2. составлять задание так, чтобы оно становилось менее привлекательным для вредителей;

3. использовать внешний контроль. Так, пользователей перенаправляют на внешний веб-ресурс, где надо ответить на несколько вопросов или нажать кнопку и получить код подтверждения. Этот же код пользователю нужно ввести в краудсорсинговой системе. Такая проверка позволяет отсеять обманщиков, которые вводят придуманные ими коды.

Авторы также составили классификацию уловок пользователей-вредителей:
1. Случайные ответы в закрытых вопросах. Закрытый вопрос представляет собой вопрос с несколькими вариантами ответа, и  пользователю предлагается выбрать один или несколько из них. Вредоносные пользователи могут не выбрать ни одного или выбрать все варианты ответа, или вообще отвечать хаотично и выбирать случайные варианты ответа. Таких обманщиков легко поймать используя золотой стандарт данных. Настоящую проблему создают те пользователи, которые на некоторые вопросы отвечают случайно, а над другими действительно думают;
2. Копипаст в открытых вопросах. В ответ на открытый вопрос вредитель может набрать случайную последовательность букв или скопировать текст на естественном языке из какого-нибудь источника. Первых поймать легко, а вот вторые почти не поддаются автоматическому обнаружению;
3. Накрутка рейтинга. Некоторые работодатели пытаются избавиться от вредителей, вводя ограничения на рейтинг пользователей, которые могут выполнять их задания. Но рейтинги очень легко накрутить и, фактически, такой отбор не гарантирует отсутствия плохих работников.

Сами авторы исследования провели серию экспериментов и убедились, что есть несколько разумных ограничений, позволяющих избавиться от вредителей. В первую очередь, они предлагают определенную структуру задания, принуждающую пользователя больше работать с системой и дающую меньше возможностей обманывать. Во-вторых, они определили, что большинство обманщиков   живут в странах третьего мира и предлагают работодателям цинично принимать на работу только жителей развитых стран =)

Сегодня мы познакомили вас только с одним исследованием, а в ближайшем будущем мы расскажем о том, какие модели поощрения краудсорсинговой деятельности стали лучшими и насколько форма задания влияет на качество его выполнения (на основании данных исследований Механического турка).

  • Опубликовать в Facebook
0
Nikita Kravchuk
27 Ноябрь 2013
А есть ли разница в том какова мотивация крауда, если крауд решает поставленную задачу. Не «перемудрёж» ли это воспринимать единицу сообщество в отрыве от этого самого сообщества? В коллективных блогах, например, саморегуляция вполне себе работает. Вопрос только в правилах, по которым эта саморегуляция работает. И в личном примере авторитетных членов сообщества. Полагаю, вычислением негодяя в крауде если и заниматься, то лишь на уровне таких правил. Сообщество само отследит употребивших наименее честные паттерны.И покарает. Дайте только инструменты.
Ответить Ссылка 0
0
Daria Goncharova
27 Ноябрь 2013
Никита, спасибо за комментарий!
Мы рассматриваем проблему, не когда крауд решает поставленную задачу, а как раз когда он ее не решает (решает не корректно).
Анализируя статистику по результатам - мы получаем смещенные оценки (как раз из-за таких вредителей). Понимание того, кто из участников является вредителем, позволяет нам не учитывать его оценки и получить несмещенный результат. А это и есть цель заказчика.
По поводу блога - полностью согласна.
Ответить Родитель Ссылка 0
0
Nikita Sushko
27 Ноябрь 2013
Читаю про "вредительство" и вспоминается роман Нила Стивенсона "Криптономикон" (http://goo.gl/8w6mW). Одна из сюжетных линий там - жит и быт диверсионного подразделения 2702, целью которого было скрывать тот факт, что разведка союзников уже взломала код «Энигмы». Как это достигалось? Немцам целенаправленно подбрасывались факты, скрывающие взаимосвязь передачи шифрованных сообщений и атак союзников. Генерировался "розовый шум", который маскировал истинную картину.
Это, конечно не ситуация с Механическим Турком, где "вредители" замотивированы только личной выгодой, и как могли повышали скорость обработки задач. Однако поразмыслить, какие бывают механизмы защиты краудсорсинговой системы от манипуляций интересно.
А, действительно, был же удачный опыт проектирование бронетранспортёра краудсорсерами. Есть решение прислушиваться к их голосу в части военных разработок. Допустим, некоторое сообщество захочет направить военную промышленность по ложному следу. Я спроектирую самодвижущуюся тележку, коллега из Индии добавит недокументированных возможностей в модуль радиосвязи, а знакомый из Австралии предложит альтернативный источник питания с GPS привязкой (чтобы машина включалась только в определенных локациях). Все части по-отдельности будут восприняты экспертами/фасилитаторами от оборонного ведомства на ура, но вместе образуют вполне себе антимилитаристическое нечто, которое меньше всего будет пригодно для нужд оборонки. Есть ли стратегия защиты от подобного "вредительства" в краудсорсинговых сообществах?
Ответить Ссылка 0
0
Daria Goncharova
27 Ноябрь 2013
Никита, спасибо за комментарий!
если я правильно поняла пример (признаюсь, с трудом=), то подобное вредительство должно устраняться методологией. Доработка идей должна быть выстроена таким образом, чтобы нерабочие идеи выкидывались самим сообществом. И также помимо различных креативщиков среди членов краудсорсингового сообщества должны быть люди "в теме", которые собственно и смогут отфильтровать идею. Ответила на вопрос?
Ответить Родитель Ссылка 0
0
Nikita Sushko
27 Ноябрь 2013
Благодарю за ответ, Дарья! Перечитал свой коммент, да, пример, что называется, на любителя, с долей сумашедшинки :) Но тем ценнее ответ. Насколько я понял, для сложных задач обязательный этап - экспертиза, и чем сложнее задача, тем более "прокачанные" эксперты понадобятся.
Ответить Родитель Ссылка 0
0
Daria Goncharova
27 Ноябрь 2013
=) Да! я думаю экспертиза (читай отбор) - это необходимый этап!
Ответить Родитель Ссылка 0
0
Алексей Кулай
27 Ноябрь 2013
..любой автомат лишь ускоритель ... и как говаривал Франсуа-Андре Даникан Филидор, в Париже обыгравший механического турка :)«Пешки — душа шахмат, только они создают атаку и защиту, от их хорошего или плохого расположения целиком зависит победа или поражение».
Ответить Ссылка 0
0
VRus
27 Ноябрь 2013
Глобальный рейтинг людей наверное помог бы и в этом деле. Накрутить его гораздо сложнее либо слишком дорого для рядового вредителя.
Ответить Ссылка 0