Обратная связь
crowdsourcing DARPA Enterprise 2.0 facilitator Gartner Google IBM idea management Imaginatik knowledge management open innovation social business Social Organization Social Platforms Spigit tacit knowledge wit-проект Witology Агенство стратегических инициатив бизнес-лига Деятельное сообщество инвестиции инновации кейсы коллективный интеллект команда Witology краудрекрутинг краудсорсеры краудсорсинг краудсорсинг-проект краудсорсинг-проекты краудфандинг менеджмент идей метаразум методология мотивация Национальная предпринимательская инициатива НПИ облачное предприятие облачные предприятия общественное благо открытые инновации отчеты предсказания приз производство знаний публикации краудсорсеров рынки предсказаний Сбербанк семинар синтеллектуальный краудсорсинг Социально-семантические сети Социальное предприятие социальные платформы социальные сети социальные технологии Социальный бизнес социо-семантическая сеть ТеМП фасилитатор футбол эпоха социализации и коллаборативизации

Продолжаем разбирать механического турка

Просмотров1511
Комментариев4

9df841fd30030df56ffa089d7d40820a.png
Иллюстрация с сайта aws.typepad.com

Не так давно мы описывали интересную работу с семинараCrowdsourcing for Search and Data Mining конференции Web Search and Data Mining, посвященную проблеме краудсорсеров-вредителей на примере Механического турка. Тогда мы обещали рассказать про исследования, посвященные формам мотивации краудсорсеров и зависимости формата задания и качества его исполнения.

Выполняем обещанное!

В рамках семинара исследователем C.G. Harris были проанализированы различные модели поощрения краудсорсинговой деятельности (статья: You’re Hired! An Examination of Crowdsourcing Incentive Models in Human Resource Tasks, C.G.Harris).

В рамках эксперимента перед пользователями Механического Турка была поставлена задача, похожая на упрощенную задачу менеджера по персоналу: им следовало прочесть и оценить по  пятибалльной шкале 48 резюме. Оценка «5» означала, что резюме полностью подходит должности, на которую претендует автор резюме, оценка «1» — что абсолютно не соответствует. Все резюме были приведены к единой форме и, разумеется, анонимны.

Аналогичная задача была поставлена перед профессиональным менеджером по персоналу. Его оценки были использованы в качестве золотого стандарта.

Харрис провел 4 серии экспериментов.  В каждом эксперименте он использовал различные системы поощрения, а именно:

1. Основное вознаграждение: Пользователи получали по $0.06 за каждое из 48 оцененных резюме.
2. Положительное вознаграждение: Пользователи получали по $0.06 за каждое из 48 оцененных резюме, но пользователям сообщали, что если оценка какого-нибудь из резюме совпадала с оценкой эксперта, вознаграждение удваивалось.
3. Отрицательное вознаграждение: Принцип, обратный предыдущему: если оценка резюме не совпадала с оценкой эксперта, вознаграждение уменьшалось вдвое (Харрис называет уменьшение вознаграждения штрафом).
4. Смешанное вознаграждение: Принцип, совмещающий положительное и отрицательное вознаграждение. За совпадение с мнением эксперта пользователи получали дополнительный бонус в $0.06, за расхождение их выплата уменьшалась до $0.03.

По итогам экспериментов, автор пришел к следующим выводам:

Во-первых, результаты экспериментов с модифицированной (2-4) системой  вознаграждения лучше, чем  с обычной системой вознаграждения.

Далее, ближе всего к золотому стандарту оказались результаты экспериментов с положительными и смешанными вознаграждениями.

Кроме того, оказалось, что пользователи тратят больше времени на задания, если они знают, что они могут быть оштрафованы или получить бонус.

В целом, утверждает Харрис, использование модифицированных систем вознаграждения является эффективным и он рекомендует остальным исследователям пользоваться ими в дальнейшем.
Далее хотим представить вам еще одну интересную работу — исследование факторов, делающих задание привлекательным для пользователей краудсорсинговой системы, проведенное R.Vliegendhart, M.Larson, C.Kofler, C.Eickhoff, J.Pouwelse (статья:Investigating Factors Influencing Crowdsourcing Tasks With High Imaginative Load R.Vliegendhart, M.Larson, C.Kofler, C.Eickhoff, J.Pouwelse).

Авторы работы исследовали факторы, делающие задание привлекательным для пользователей краудсорсинговой системы. Хотя они провели серию экспериментов на разных краудсорсинговых площадках, основные результаты были получены на базе Механического Турка. Почему именно там? Это самый популярный краудсорсинговый сервис, чья аудитория является большой и неоднородной, а, следовательно, и интереснее для исследования. Более того, по словам авторов, пользователи других площадок (Gambit и Give Work) меньше заинтересованы в получении материального вознаграждения и менее активны.

Само исследование заключалось в следующем: пользователей просили оценить эффективность абстрактной системы обмена файлами. Предварительно им показывали небольшое описание системы и формата файлов, которыми можно обмениваться (ТВ подкастов, музыки, книг, кино и программного обеспечения).

Задание в рамках исследования состояло из нескольких вопросов:

1. По данным названиям 10 файлов требовалось определить, могут ли он находиться в обменнике и объяснить почему.

2. Далее, пользователю показывали схематичное изображение окна программы для обмена файлами, сопровожденное примерно таким описанием: “У Джима и его друзей есть большая коллекция общих файлов. Для обмена ими они пользуются нашей программой. Представьте, что она выглядит так, как показано на рисунке”.  После этого пользователям следовало ответить на три вопроса.

1. Какой бы из трех доступных файлов скачали бы вы?;
2. Почему Вы бы скачали именно его?;
3. Как вы думаете, почему этот файл попал в коллекцию Джима и его друзей?
8849fb80800713263c23ba55fd814d7b.png
Иллюстрация из статьи Investigating Factors Influencing Crowdsourcing Tasks With High Imaginative Load R.Vliegendhart, M.Larson, C.Kofler, C.Eickhoff, J.Pouwelse

Авторы статьи запускали это задание под тремя разными названиями:

1. “Джим, его друзья и воображаемый файлообменник”,
2. “Джим, его друзья и цифровые штуковины”,
3. “Джим, его друзья и интересные файлы для скачивания”.

Оказалось, что третье название привлекло больше пользователей с высоким рейтингом, а под вторым названием задание было решено быстрее, чем под другими двумя.

В любом случае, два типа названия задания привлекало два типа пользователей: Одни относились к нему серьезно, тратили много времени на обдумывание ответов, а другие давали одинаковые тривиальные ответы почти на все вопросы (“это то, что люди обычно скачивают”).

Авторы утверждают, что, в целом, они довольны результатами своего исследования. Хотя их задание выполнило небольшое количество пользователей, доля содержательных ответом превышала долю тривиальных. Какие выводы делают исследователи? Задания, требующие ответов в свободной форме на четко сформулированные вопросы, могут быть успешно запущены на Механическом Турке. В будущем, такие задания могут стать своеобразной формой социологических опросов (с поправкой на аудиторию, разумеется).  Пожалуй, можно сформулировать еще один вывод-напоминание – при работе с большой аудиторией, никогда не забывайте про «обертку».

Дорогие читатели, если вы готовы поделиться своими наблюдениями о мотивации пользователей в открытых-свободных проектах и форматах «оберток», не стесняйтесь! Смело описывайте их в комментариях ниже!

  • Опубликовать в Facebook
0
Sergeykarpuhin
27 Ноябрь 2013
Задачи, постановка которых содержит вызов, как правило, стимулируют на поиск решения. Преподаватели техникума, в котором мне посчастливелось учиться, использовали такой прием (далеко не единственный). Объявляли тему следующего занятия, например, оптические модуляторы систем наведения, и добавляли, что открыть учебник и прочитать как они устроены - дело не большого ума, по этому они ждут от нас наши оригинальные соображения на этот счет.
Ответить Ссылка 0
0
Daria Goncharova
27 Ноябрь 2013
Спасибо, Сергей! А как в дальнейшем преподавателем была выстроена система мотивации - вы за оригинальные соображения получали дополнительные бонусы, или словесную благодарность, уважение остальных студентов?
Ответить Родитель Ссылка 0
0
Sergeykarpuhin
27 Ноябрь 2013
Получали всё и сразу и что не менее важно все.
Если ты отвечаешь по учебнику - это 3 и падение авторитета в глазах окружающих. Оценки за оригинальность 4 и 5. Студенты, стабильно демонстрирующие выдающиеся результаты получали возможность учиться по усложненной программе, вести занятия, проверять контрольные, проводить консультации перед экзаменами и принимать экзамены. Но самое главное, они получали самоуважение, вера в себя и навыки работы в незнакомых предметных областях с задачами любой сложности. Все вместе получали среду, стимулирующую к достижению больших результатов (если сосед смог, а я что хуже что ли). Начинали работать даже те кто говорил, что учеба им не нужна.
Ответить Родитель Ссылка 0
0
Daria Goncharova
27 Ноябрь 2013
Спасибо большое за развернутый ответ!
На мой взгляд, система мотивации существующих коллаборативных платформ как раз стремится к описанной вами схеме - получаемые баллы соотвествуют "уровню знаний", а общий рейтинг как раз отвечает за собственный авторитет
Ответить Родитель Ссылка 0