✖


Jump to content

Амазонка Механический Турок

Amazon Mechanical Turk ( MTurk ) — это краудсорсинговый веб-сайт, с помощью которого компании могут нанимать удаленных «краудворкеров» для выполнения отдельных задач по требованию, которые компьютеры в настоящее время не могут выполнять с такой же экономичностью. Он управляется Amazon Web Services и принадлежит Amazon . [1] Работодатели, известные как запрашивающие, публикуют вакансии, известные как задачи человеческого интеллекта (HIT), такие как идентификация конкретного контента в изображении или видео, написание описаний продуктов или ответы на вопросы опроса. Работники, в просторечии известные как туркеры или краудворкеры , просматривают существующие вакансии и выполняют их в обмен на плату, установленную запрашивающим. Для размещения вакансий запрашивающие используют открытый интерфейс прикладного программирования (API) или более ограниченный сайт MTurk Requester. [2] По состоянию на апрель 2019 г. , запрашивающие могли зарегистрироваться из 49 утвержденных стран. [3]

История [ править ]

Сервис был задуман Венки Харинараяном в раскрытии патента США в 2001 году. [4] Amazon ввела термин «искусственный искусственный интеллект» для процессов, которые передают людям некоторые части компьютерной программы, поскольку эти задачи выполняются людьми гораздо быстрее, чем компьютерами. Это утверждается [ кем? ] что Джефф Безос был ответственным за предложение разработать Amazon Mechanical Turk для реализации этого процесса. [5]

Название « Механический турок » было вдохновлено « Турком », шахматным автоматом XVIII века , созданным Вольфгангом фон Кемпеленом , который путешествовал по Европе и победил Наполеона Бонапарта и Бенджамина Франклина . Позже выяснилось, что эта «машина» была не автоматом, а человеком -шахматистом, спрятанным в шкафу под доской и управляющим движениями гуманоидного манекена. Аналогично, онлайн-сервис Mechanical Turk использует удаленный человеческий труд, скрытый за компьютерным интерфейсом, чтобы помочь работодателям выполнять задачи, которые невозможно выполнить с помощью настоящей машины.

MTurk был публично запущен 2 ноября 2005 года. Его пользовательская база быстро росла. В начале-середине ноября 2005 года существовали десятки тысяч вакансий, и все они были загружены в систему самой Amazon для выполнения некоторых внутренних задач, требующих человеческого интеллекта. Типы HIT расширились и теперь включают расшифровку, рейтинг, маркировку изображений, опросы и написание.

По сообщениям, в марте 2007 года в более чем 100 странах работало более 100 000 рабочих. [6] В январе 2011 года это число увеличилось до более чем 500 000 зарегистрированных работников из более чем 190 стран. [7] В том же году Techlist опубликовала интерактивную карту, на которой указано местонахождение 50 000 сотрудников MTurk по всему миру. [8] К 2018 году исследования показали, что, хотя на платформе в любое время было доступно более 100 000 работников, активно работали только около 2000. [9]

Обзор [ править ]

Пользователь Mechanical Turk может быть либо «Работником» (подрядчиком), либо «Заказчиком» (работодателем). Работники имеют доступ к информационной панели, на которой отображаются три раздела: общий доход, статус HIT и итоговые показатели HIT. Рабочие сами устанавливают свой график работы и не обязаны брать на себя какую-либо конкретную задачу.

Amazon классифицирует работников как подрядчиков, а не сотрудников, и не платит налоги на заработную плату. Классификация работников как подрядчиков позволяет Amazon избегать таких вещей, как минимальная заработная плата , сверхурочная работа и компенсация работникам — это обычная практика среди платформ «экономики свободного заработка». По закону работники обязаны сообщать о своих доходах как о доходах от самозанятости.

В 2013 году средняя заработная плата за несколько назначенных микрозадач, если они выполнялись быстро, составляла около одного доллара в час, при этом каждая задача стоила в среднем несколько центов. [10] Однако подсчитать средний почасовой заработок людей на сайте микрозадач чрезвычайно сложно, и несколько источников данных показывают, что средний почасовой заработок составляет 5–9 долларов в час. [11] [12] [13] [14] варьируется среди значительного числа работников, в то время как наиболее опытные, активные и квалифицированные работники могут зарабатывать более 20 долларов в час. [15]

Работники могут иметь почтовый адрес в любой точке мира. Оплата за выполнение задач может быть погашена на Amazon.com с помощью подарочного сертификата (подарочные сертификаты — единственный вариант оплаты, доступный для иностранных работников, за исключением Индии) или может быть переведена на банковский счет работника в США.

Запрашивающие могут попросить, чтобы работники выполнили квалификацию, прежде чем приступить к выполнению задания, а также могут разработать тест, предназначенный для проверки квалификации. Они также могут принять или отклонить результат, отправленный Работником, что влияет на репутацию Работника. По состоянию на апрель 2019 г. Запрашивающие лица платили Amazon минимум 20% комиссии от стоимости успешно выполненных работ, а также увеличивали суммы за дополнительные услуги. [ нужны разъяснения ] . [6] Запрашивающие могут использовать API Amazon Mechanical Turk для программной интеграции результатов работы непосредственно в свои бизнес-процессы и системы. При приеме на работу работодатели должны указать

  • сколько они платят за каждый выполненный HIT,
  • сколько рабочих они хотят работать над каждым HIT,
  • максимальное время, в течение которого работник может работать над одной задачей,
  • сколько времени у рабочих есть на выполнение работы,

а также конкретные сведения о работе, которую они хотят выполнить.

туркеров Расположение ​ ​

С момента создания платформы рабочие в основном находились в США. [16] демографические данные в целом аналогичны общей численности интернет-населения США. [17] В США рабочие довольно равномерно распределены по штатам, пропорционально доле каждого штата в населении США. [18] По состоянию на 2019 год , от 15 до 30 тысяч человек в США проходят хотя бы один HIT каждый месяц, и около 4500 новых людей присоединяются к MTurk каждый месяц. [19]

Денежные выплаты для индийских рабочих были введены в 2010 году, что обновило демографические данные рабочих, которые, однако, остались в основном в Соединенных Штатах. [20] Веб-сайт, показывающий демографические данные работников в мае 2015 года, показал, что 80% работников проживали в Соединенных Штатах, а остальные 20% - в других странах мира, большинство из которых находились в Индии. [21] В мае 2019 года примерно 60% находились в США, 40% в других странах (примерно 30% в Индии). [22] В начале 2023 года около 90% работников были из США и около половины остальных — из Индии. [23]

Использует [ править ]

Исследования на человеке [ править ]

С 2010 года Многие исследователи изучали возможность использования «Механического турка» для набора субъектов для экспериментов в области социальных наук. Исследователи в целом обнаружили, что хотя выборки респондентов, полученные с помощью Mechanical Turk, не полностью соответствуют всем важным характеристикам населения США, они также не являются сильно искажающими. [24] [25] В результате ежегодно публикуются тысячи статей, основанных на данных, полученных от работников Mechanical Turk, в том числе сотни в ведущих академических журналах.

Проблема с использованием MTurk для исследований на людях заключалась в поддержании качества данных. Исследование, опубликованное в 2021 году, показало, что типы подходов к контролю качества, используемые исследователями (например, проверка на наличие ботов, пользователей VPN или работников, желающих предоставить нечестные ответы), могут существенно повлиять на результаты опроса. Они продемонстрировали это, воздействуя на три распространенных инструмента скрининга поведенческого и психического здоровья. [26] Несмотря на то, что управление качеством данных требует работы исследователей, существует большое количество исследований, показывающих, как собирать высококачественные данные из MTurk. [27] Стоимость использования MTurk значительно ниже, чем многих других средств проведения опросов, поэтому многие исследователи продолжают его использовать.

По общему мнению исследователей, этот сервис лучше всего подходит для набора разнообразной выборки; он менее успешен в исследованиях, которые требуют более точного определения групп населения или репрезентативной выборки населения в целом. [28] Было опубликовано множество статей о демографии населения MTurk. [18] [29] [30] Рабочие MTurk, как правило, моложе, более образованы, более либеральны и немного менее богаты, чем население США в целом. [31]

Машинное обучение ​ ​

Для успешного обучения алгоритмам контролируемого машинного обучения требуются большие объемы аннотированных человеком данных. Исследователи машинного обучения наняли работников через Mechanical Turk для создания наборов данных, таких как SQuAD, набор данных с ответами на вопросы . [32]

Поиски пропавших без вести [ править ]

С 2007 года , сервис использовался для поиска известных пропавших без вести людей. Впервые такое использование было предложено во время поисков Джеймса Кима , но его тело было найдено до того, как был достигнут какой-либо технический прогресс. Тем летом ученый-компьютерщик Джим Грей из Amazon исчез на своей яхте, а Вернер Фогельс , личный друг, договорился с DigitalGlobe , которая предоставляет спутниковые данные для Google Maps и Google Earth , разместить недавние фотографии Фараллонских островов на Mechanical Turk. Статья на первой странице Digg привлекла 12 000 поисковиков, которые работали с профессионалами в области изображений над теми же данными. Поиски не увенчались успехом. [33]

В сентябре 2007 года подобная договоренность была повторена при поиске авиатора Стива Фоссета . Спутниковые данные были разделены на секции площадью 85 квадратных метров (910 квадратных футов), и пользователей Mechanical Turk попросили пометить изображения «инородными объектами», которые могли быть местом крушения или другими доказательствами, которые следует изучить более внимательно. [34] Этот поиск также не увенчался успехом. Спутниковые снимки были в основном в радиусе 50 миль. [35] но место крушения в конце концов было обнаружено туристами примерно через год в 65 милях отсюда. [36]

Художественные произведения [ править ]

MTurk также использовался как инструмент художественного творчества. Одним из первых художников, работавших с Mechanical Turk, была Кстин Берроу с The Mechanical Olympics (2008). [37] [38] Бесконечный Ом (2015 г.) и Посредничество в цифровом труде (2015 г.). [39] Еще одной работой стала художника Аарона Коблина « Десять тысяч центов» (2008). [ нужны дальнейшие объяснения ]

Стороннее программирование [ править ]

Программисты разработали расширения для браузеров и скрипты , призванные упростить процесс выполнения заданий. Amazon заявила, что не одобряет сценарии, которые полностью автоматизируют процесс и исключают человеческий фактор. Это связано с опасениями, что процесс выполнения задачи (например, ответов на опросы) может быть связан со случайными ответами, и полученные в результате собранные данные могут оказаться бесполезными. [40] Аккаунты, использующие так называемых автоматических ботов, заблокированы. Есть сервисы, расширяющие возможности MTurk. [ нужны разъяснения ]

API [ править ]

Amazon предоставляет интерфейс прикладного программирования (API) для системы MTurk. API MTurk позволяет программисту отправлять задания, получать выполненные работы, а также утверждать или отклонять эту работу. [41] В 2017 году Amazon запустил поддержку комплектов средств разработки программного обеспечения (SDK) AWS, что позволило пользователям MTurk получить доступ к девяти новым SDK. [ важность? ] MTurk доступен через API на следующих языках: Python, JavaScript, Java, .NET, Go, Ruby, PHP или C++. [42] Веб-сайты и веб-сервисы могут использовать API для интеграции работы MTurk с другими веб-приложениями, предоставляя пользователям альтернативу интерфейсу, созданному Amazon для этих функций.

ER_diagram назначения работника-HIT

Примеры использования [ править ]

Обработка фото/видео [ править ]

Amazon Mechanical Turk предоставляет платформу для обработки изображений — задачу, хорошо подходящую для человеческого интеллекта. Запрашивающие создали задания, в которых работникам предлагается маркировать объекты, найденные на изображении, выбирать наиболее подходящее изображение из группы изображений, проверять нежелательный контент, классифицировать объекты на спутниковых изображениях или оцифровывать текст с изображений, например, отсканированных форм, заполненных вручную. [43]

Очистка/проверка данных [ править ]

Компании с большими онлайн-каталогами используют Mechanical Turk для выявления дубликатов и проверки деталей записей товаров. Например: удаление дубликатов в списках справочников на желтых страницах, проверка сведений о ресторане (например, номер телефона и часы работы) и поиск контактной информации на веб-страницах (например, имя автора и адрес электронной почты). [10] [43]

Сбор информации [ править ]

Диверсификация и масштаб персонала Mechanical Turk позволяют собирать информацию в больших масштабах, что было бы затруднительно вне групповой площадки. Mechanical Turk позволяет запрашивающим собирать большое количество ответов на различные типы опросов, от базовых демографических до академических исследований. Другие варианты использования включают написание комментариев, описаний и записей в блогах на веб-сайтах, а также поиск элементов данных или определенных полей в крупных правительственных и юридических документах. [43]

Обработка данных [ править ]

Компании используют коллективный труд Mechanical Turk для понимания различных типов данных и реагирования на них. Обычное использование включает редактирование и транскрипцию подкастов, перевод и сопоставление результатов поисковых систем. [10] [43]

исследования Обоснованность ​ ​

Обоснованность исследования, проведенного с участием рабочих Mechanical Turk, уже давно обсуждается среди экспертов. [44] Во многом это связано с тем, что вопросы обоснованности [45] сложны: они включают в себя не только вопросы о том, были ли методы исследования подходящими и хорошо ли проведено исследование, но и вопросы о цели проекта, о том, как исследователи использовали MTurk, от кого была взята выборка и какие выводы были сделаны.

Большинство экспертов сходятся во мнении, что MTurk лучше подходит для некоторых типов исследований, чем для других. MTurk хорошо подходит для вопросов, направленных на то, чтобы понять, связаны ли друг с другом две или более вещи (так называемые корреляционные исследования; например, являются ли счастливые люди более здоровыми?), а также для вопросов, которые пытаются показать, что одно вызывает другое (экспериментальное исследование; например, счастье делает людей более здоровыми). К счастью, эти категории охватывают большую часть исследований, проводимых учеными-бихевиористами, и большинство корреляционных и экспериментальных результатов, обнаруженных в репрезентативных на национальном уровне выборках, повторяются и на MTurk. [46]

Тип исследования, который не очень подходит для MTurk, часто называют «описательным исследованием». Описательное исследование направлено на описание того, как или что люди думают, чувствуют или делают; Одним из примеров является опрос общественного мнения. MTurk не очень подходит для таких исследований, поскольку не отбирает репрезентативную выборку населения в целом. Вместо этого MTurk — это невероятность, [ жаргон ] удобный образец. Описательные исследования лучше всего проводить на основе вероятностной репрезентативной выборки населения, которую исследователи хотят понять. По сравнению с населением в целом, люди на MTurk моложе, более образованы, более либеральны и менее религиозны. [47] [18] [30]

Трудовые вопросы [ править ]

«Механический турок» подвергся критике со стороны журналистов и активистов за его взаимодействие с рабочей силой и ее использование.Ученый-компьютерщик Джарон Ланье отметил, что конструкция Mechanical Turk «позволяет думать о людях как о компонентах программного обеспечения», вызывая «ощущение волшебства, как будто вы можете просто получить результаты из облака с невероятно низкой стоимостью». ". [48] Похожая точка зрения высказывается в книге «Работа с призраками» . Мэри Л. Грей и Сиддхарта Сури [49] [ важность? ]

Критики MTurk утверждают, что рабочих вынуждают работать на объекте из-за нестабильных экономических условий, а затем их эксплуатируют заказчики с низкой заработной платой и отсутствием власти в случае возникновения споров. Статья журналистки Аланы Семуэлс «Интернет открывает новый вид плохо оплачиваемого ада» в The Atlantic является типичным примером такой критики MTurk. [50]

Некоторый [ ВОЗ? ] научные статьи получили результаты, которые поддерживают или служат основой для такой общей критики, [51] но другие противоречат им. [52] В недавнем академическом комментарии утверждалось, что участники исследования на таких сайтах, как MTurk, должны быть четко предупреждены об обстоятельствах, при которых им впоследствии может быть отказано в оплате по соображениям этики. [53] даже несмотря на то, что такие заявления не могут снизить уровень небрежных ответов. [54]

Статья, опубликованная командой CloudResearch [14] показывает, что только около 7% людей на MTurk рассматривают прохождение HIT как нечто похожее на работу на полный рабочий день. Большинство людей сообщают, что MTurk — это способ заработать деньги в свободное время или в качестве подработки. В 2019 году среднестатистический работник тратил от пяти до восьми часов в неделю и зарабатывал около 7 долларов в час. Рабочие, включенные в выборку, не сообщали о безудержном росте заболеваемости. [ нужны разъяснения ] жестокое обращение со стороны запрашивающих; они сообщили, что доверяют заявителям больше, чем работодателям за пределами MTurk. Аналогичные выводы были представлены в обзоре MTurk организацией Fair Crowd Work, коллективом массовых работников и профсоюзов. [55] [ ненадежный источник? ]

Денежная компенсация [ править ]

Минимальная оплата, которую Amazon допускает за задачу, составляет один цент. Поскольку задачи обычно просты и повторяются, за большинство задач платят всего несколько центов. [56] но есть на сайте и хорошо оплачиваемые задания.

Многие критические замечания в адрес MTurk связаны с тем, что большинство задач требуют низкой заработной платы. Кроме того, работники считаются независимыми подрядчиками, а не наемными работниками. Независимые подрядчики не защищены Законом о справедливых трудовых стандартах или другим законодательством, защищающим права работников. [ Ориентируясь на США ] Работникам MTurk приходится конкурировать с другими за хорошие возможности HIT, а также тратить время на поиск задач и других действий, за которые они не получают вознаграждения.

Низкая оплата, предлагаемая за многие задачи, вызвала критику в отношении Mechanical Turk за эксплуатацию и некомпенсацию работникам истинной ценности выполненных ими задач. [57] Одно исследование 3,8 миллиона задач, выполненных 2767 работниками, показало, что «работники зарабатывали среднюю почасовую заработную плату около 2 долларов в час», при этом 4% работников зарабатывали более 7,25 долларов в час. [58]

Исследовательский центр Pew и Международное бюро труда опубликовали данные, согласно которым в 2015 году люди зарабатывали около 5 долларов в час. [12] [59] Исследование, посвященное работникам в США, показало, что средняя заработная плата составляет не менее 5,70 долларов в час. [60] а данные исследования CloudResearch показали, что средняя заработная плата составляет около 6,61 доллара в час. [14] Некоторые данные свидетельствуют о том, что очень активные и опытные люди могут зарабатывать 20 долларов в час и более. [61]

Мошенничество [ править ]

В 2014 году журнал Nation сообщил, что некоторые Запрашивающие воспользовались услугами Workers, заставляя их выполнять задания, а затем отклоняли их заявки, чтобы не платить им. [62] Имеющиеся данные показывают, что отказы случаются довольно редко. Рабочие сообщают, что им было отклонено небольшое меньшинство их HIT, возможно, всего 1%. [14]

В скандале с данными Facebook и Cambridge Analytica Mechanical Turk был одним из средств тайного сбора частной информации для огромной базы данных. [63] Система платила людям доллар или два за установку приложения, связанного с Facebook , и ответы на личные вопросы. Задача опроса, как работа по найму, не использовалась для проекта демографического или психологического исследования, как могло бы показаться. Вместо этого цель заключалась в том, чтобы заставить работника раскрыть личную информацию о личности работника, которая еще не была собрана Facebook или Mechanical Turk.

Трудовые отношения ​ ​

Другие раскритиковали то, что рынок не позволяет работникам вести переговоры с работодателями. В ответ на критику в уклонении от уплаты платежей и отсутствии представительства группа разработала стороннюю платформу под названием Turkopticon, которая позволяет работникам оставлять отзывы о своих работодателях. Это позволяет работникам избегать потенциально недобросовестных работ и рекомендовать лучших работодателей. [64] [65] Другая платформа под названием «Динамо» позволяет работникам собирать [ нужны разъяснения ] анонимно и организовывать кампании по улучшению своей рабочей среды, такие как «Руководство для академических заявителей» и «Дорогой Джефф Безос». [66] [67] [68] [69] Amazon усложнил работникам регистрацию в Dynamo, закрыв учетную запись запроса, которая предоставляла работникам необходимый код для членства в Dynamo. Рабочие создали сторонние плагины для определения более высокооплачиваемых задач, но Amazon обновил свой веб-сайт, чтобы эти плагины не работали. [70] Рабочие жаловались, что платежная система Amazon иногда перестает работать. [70]

Связанные системы [ править ]

Дополнительная информация: Краудсорсинг.

Mechanical Turk в некоторых отношениях можно сравнить с ныне прекращенной службой Google Answers . Однако Mechanical Turk — это более универсальная торговая площадка , которая потенциально может помочь распределить любые рабочие задачи по всему миру. «Совместный человеческий интерпретатор » (CHI) Филиппа Ленссена также предложил использовать распределенный человеческий интеллект, чтобы помочь компьютерным программам выполнять задачи, с которыми компьютеры не справляются хорошо. MTurk можно использовать в качестве механизма выполнения CHI. [ нужна ссылка ]

В 2014 году российский поисковый гигант «Яндекс» запустил аналогичную систему под названием «Толока» , похожую на «Механического турка». [71]

См. также [ править ]

Ссылки [ править ]

  1. ^ «Amazon Mechanical Turk, страница часто задаваемых вопросов» . Проверено 14 апреля 2017 г.
  2. ^ «Обзор | Запрашивающий | Amazon Mechanical Turk» . Запрашивающий.mturk.com . Проверено 28 ноября 2011 г.
  3. ^ «Механический турок Amazon» . www.mturk.com .
  4. ^ Несколько источников:
  5. ^ «Искусственный искусственный интеллект» . Экономист . 10 июня 2006 г.
  6. ^ Jump up to: Перейти обратно: а б «Ценообразование Mturk» . АВС . Амазонка. 2019 . Проверено 16 апреля 2019 г.
  7. ^ «Форумы разработчиков AWS» . Проверено 14 ноября 2012 г.
  8. ^ Тамир, Дан. «50 000 турок-механиков по всему миру» . технический список . Проверено 17 сентября 2014 г.
  9. ^ Джеллель, Дифаллах; Филатова, Елена; Ипейротис, Панос (2018). «Демография и динамика рабочих-механиков-турок». Материалы одиннадцатой Международной конференции ACM по веб-поиску и интеллектуальному анализу данных (PDF) . стр. 135–143. дои : 10.1145/3159652.3159661 . ISBN  9781450355810 . S2CID   22339115 .
  10. ^ Jump up to: Перейти обратно: а б с «Amazon Mechanical Turk: Цифровая потогонная мастерская», Эллен Кушинг , Utne Reader, январь – февраль 2013 г.
  11. ^ Берг, Джанин (2015–2016). «Гарантия дохода в экономике по требованию: выводы и политические уроки на основе опроса краудворкеров» . Сравнительный журнал трудового законодательства и политики . 37 : 543.
  12. ^ Jump up to: Перейти обратно: а б Гейгер, Эбигейл (11 июля 2016 г.). «Исследования в эпоху краудсорсинга, практический пример» . Исследовательский центр Пью: Интернет, наука и технологии . Проверено 9 января 2023 г.
  13. ^ «Amazon Mechanical Turk — ярмарка коллективной работы» . Проверено 9 января 2023 г.
  14. ^ Jump up to: Перейти обратно: а б с д Мосс, Аарон Дж; Розенцвейг, Чески; Робинсон, Джонатан; Яффе, Шалом Ноах; Литман, Лейб (28 апреля 2020 г.). «Этично ли использовать Mechanical Turk для поведенческих исследований? Соответствующие данные репрезентативного опроса участников MTurk и заработной платы» . doi : 10.31234/osf.io/jbc9d . S2CID   236840556 . {{cite journal}}: Для цитирования журнала требуется |journal= ( помощь )
  15. ^ «MTurk — наиболее этичный способ найма работников толпы» . Блог | ТёркерВью . 18.11.2019 . Проверено 9 января 2023 г.
  16. ^ Панос Ипейротис (19 марта 2008 г.). «Механический турок: демография» . Нью-Йоркский университет . Проверено 30 июля 2009 г.
  17. ^ Панос Ипейротис (16 марта 2009 г.). «Демография Теркера против интернет-демографии» . Нью-Йоркский университет . Проверено 30 июля 2009 г.
  18. ^ Jump up to: Перейти обратно: а б с Литман, Лейб (2020). Проведение онлайн-исследований Amazon Mechanical Turk и других продуктов . Джонатан Робинсон (1-е изд.). Лос-Анджелес. ISBN  978-1-5063-9111-3 . OCLC   1180179545 . {{cite book}}: CS1 maint: отсутствует местоположение издателя ( ссылка )
  19. ^ Робинсон, Джонатан; Розенцвейг, Чески; Мосс, Аарон Дж.; Литман, Лейб (16 декабря 2019 г.). Судзина, Франтишек (ред.). «Использовано или едва использовано? Рекомендации о том, как использовать огромный и в значительной степени неиспользованный потенциал пула участников Mechanical Turk» . ПЛОС ОДИН . 14 (12): e0226394. Бибкод : 2019PLoSO..1426394R . дои : 10.1371/journal.pone.0226394 . ISSN   1932-6203 . ПМК   6913990 . ПМИД   31841534 .
  20. ^ Панос Ипейротис (9 марта 2010 г.). «Новая демография механических турок» . Нью-Йоркский университет . Проверено 24 марта 2014 г.
  21. ^ «MTurk Tracker» . demographics.mturk-tracker.com . Проверено 1 октября 2015 г.
  22. ^ «MTurk Tracker» . demographics.mturk-tracker.com . Проверено 2 мая 2019 г.
  23. ^ «MTurk Tracker» . demographics.mturk-tracker.com . Проверено 17 апреля 2023 г.
  24. ^ Кейси, Логан; Чендлер, Джесси; Левин, Адам; Проктор, Эндрю; Сытолович, Дара (2017). «Межвременные различия среди работников MTurk: вариации выборки во времени и последствия для сбора данных в Интернете» . СЕЙДЖ Открыть . 7 (2): 215824401771277. doi : 10.1177/2158244017712774 .
  25. ^ Левай, Кевин; Фриз, Джереми; Дракман, Джеймс (2016). «Демографический и политический состав выборок механических тюрков» . СЕЙДЖ Открыть . 6 : 215824401663643. doi : 10.1177/2158244016636433 .
  26. ^ Эгли, Джон; Сяо, Юньюй; Нолан, Рэйчел; Голзарри-Арройо, Лилиан (2021). «Вопросы по контролю качества в Amazon Mechanical Turk (MTurk): рандомизированное исследование воздействия на USAUDIT, PHQ-9 и GAD-7» . Методы исследования поведения . 54 (2): 885–897. дои : 10.3758/s13428-021-01665-8 . ISSN   1554-3528 . ПМЦ   8344397 . ПМИД   34357539 .
  27. ^ Хаузер, Дэвид; Паолаччи, Габриэле; Чендлер, Джесси Дж. (01 сентября 2018 г.). «Общие опасения по поводу MTurk как пула участников: доказательства и решения» . дои : 10.31234/osf.io/uq45c . S2CID   240258666 . {{cite journal}}: Для цитирования журнала требуется |journal= ( помощь )
  28. ^ Чендлер, Джесси; Шапиро, Даниэль (2016). «Проведение клинических исследований с использованием образцов, полученных из краудсорсинга» . Ежегодный обзор клинической психологии . 12 : 53–81. doi : 10.1146/annurev-clinpsy-021815-093623 . ПМИД   26772208 .
  29. ^ Хафф, Коннор; Тингли, Дастин (01 июля 2015 г.). « Кто эти люди?» Оценка демографических характеристик и политических предпочтений респондентов опроса MTurk» . Исследования и политика . 2 (3): 205316801560464. doi : 10.1177/2053168015604648 . ISSN   2053-1680 . S2CID   7749084 .
  30. ^ Jump up to: Перейти обратно: а б Клиффорд, Скотт; Джуэлл, Райан М; Ваггонер, Филип Д. (01 октября 2015 г.). «Являются ли образцы, взятые из «Механического турка», пригодными для исследования политической идеологии?» . Исследования и политика . 2 (4): 205316801562207. doi : 10.1177/2053168015622072 . ISSN   2053-1680 . S2CID   146591698 .
  31. ^ Чендлер, Джесси; Розенцвейг, Чески; Мосс, Аарон Дж.; Робинсон, Джонатан; Литман, Лейб (октябрь 2019 г.). «Онлайн-панели по исследованиям в области социальных наук: расширение методов выборки за пределы Mechanical Turk» . Методы исследования поведения . 51 (5): 2022–2038. дои : 10.3758/s13428-019-01273-7 . ISSN   1554-3528 . ПМК   6797699 . ПМИД   31512174 .
  32. ^ Раджпуркар, Пранав; Чжан, Цзянь; Лопырев Константин; Лян, Перси (2016). «SQuAD: более 100 000 вопросов для машинного понимания текста». arXiv : 1606.05250 [ cs.CL ].
  33. ^ Стив Силберман (24 июля 2007 г.). «В поисках легенды Кремниевой долины в сфере высоких технологий» . Проводной журнал . Проверено 16 сентября 2007 г.
  34. ^ «AVweb приглашает вас присоединиться к поискам Стива Фоссета» . Avweb.com. 8 сентября 2007 года . Проверено 28 ноября 2011 г.
  35. ^ «Официальные результаты механического турка Стива Фоссета» . 24 сентября 2007 г. Проверено 14 августа 2012 г.
  36. ^ Джим Кристи (1 октября 2008 г.). «Путешественники находят удостоверение личности и вещи Стива Фоссета» . Рейтер . Архивировано из оригинала 20 декабря 2008 года . Проверено 27 ноября 2008 г.
  37. ^ «Давайте займемся физкультурой» . 5 августа 2008 г.
  38. ^ «Механические игры, спортивное онлайн-видео для туркеров | Нейронное» . 29 октября 2010 г.
  39. ^ «Тюремные скамейки и Amazon.com в Центральном арт-центре СанТаны | OC Weekly» . Архивировано из оригинала 06 сентября 2015 г. Проверено 16 апреля 2019 г.
  40. ^ «Блог веб-сервисов Amazon: Обновление статуса Amazon Mechanical Turk» . Aws.typepad.com. 06 декабря 2005 г. Проверено 28 ноября 2011 г.
  41. ^ «Архив документации: Веб-службы Amazon» . Developer.amazonwebservices.com. Архивировано из оригинала 10 апреля 2009 г. Проверено 28 ноября 2011 г.
  42. ^ «Справочник по API Amazon Mechanical Turk» . Developer.amazonwebservices.com.
  43. ^ Jump up to: Перейти обратно: а б с д «Внутри платформы Clickworker Amazon: как полмиллиона человек получают копейки за обучение ИИ» . Техреспублика . 16 декабря 2016 г.
  44. ^ Ландерс, Р.Н.; Беренд, ТС (2015). «Могу ли я использовать Mechanical Turk (MTurk) для научных исследований?» . Промышленная и организационная психология . 8 (2).
  45. ^ «Внешняя валидность – обобщение результатов исследований» . Explorable.com .
  46. ^ Коппок, Александр; Липер, Томас Дж.; Маллиникс, Кевин Дж. (04 декабря 2018 г.). «Обобщаемость оценок эффекта гетерогенного лечения по выборкам» . Труды Национальной академии наук . 115 (49): 12441–12446. Бибкод : 2018PNAS..11512441C . дои : 10.1073/pnas.1808083115 . ISSN   0027-8424 . ПМК   6298071 . ПМИД   30446611 .
  47. ^ Чендлер, Джесси; Розенцвейг, Чески; Мосс, Аарон Дж.; Робинсон, Джонатан; Литман, Лейб (01 октября 2019 г.). «Онлайн-панели по исследованиям в области социальных наук: расширение методов выборки за пределы Mechanical Turk» . Методы исследования поведения . 51 (5): 2022–2038. дои : 10.3758/s13428-019-01273-7 . ISSN   1554-3528 . ПМК   6797699 . ПМИД   31512174 .
  48. ^ Джарон Ланье (2013). Кому принадлежит будущее? . Саймон и Шустер. ISBN  978-1-4516-5497-4 .
  49. ^ «Работа призраков» . Работа призрака . Проверено 24 января 2023 г.
  50. ^ Семюэлс, Алана (23 января 2018 г.). «Интернет открывает новый вид плохо оплачиваемого ада» . Атлантика . Проверено 24 января 2023 г.
  51. ^ Форт, К.; Адда, Г.; Коэн, КБ (2011). «Amazon Mechanical Turk: золотой рудник или угольный рудник?» . Компьютерная лингвистика . 37 (2): 413–420. дои : 10.1162/COLI_a_00057 . S2CID   1051130 .
  52. ^ Хортон, Джон Дж. (01 апреля 2011 г.). «Положение класса Тёркинг: справедливы ли и честны онлайн-работодатели?» . Письма по экономике . 111 (1): 10–12. arXiv : 1001.1172 . дои : 10.1016/j.econlet.2010.12.007 . ISSN   0165-1765 . S2CID   37577313 .
  53. ^ Эгли, Джон; Мумау, Кейси (29 мая 2024 г.). «Предупреждение участников краудсорсингового исследования о возможных последствиях невнимательного участия относится к информированному согласию, независимо от влияния на качество данных» . Исследование поведения в отношении здоровья . 7 (2). дои : 10.4148/2572-1836.1236 . ISSN   2572-1836 .
  54. ^ Брюльманн, Флориан; Мемети, Згджим; Эшбах, Лена Ф.; Перриг, Себастьян AC; Опвис, Клаус (18 января 2024 г.). «Эффективность предупреждающих заявлений в сокращении небрежных ответов в краудсорсинговых онлайн-опросах» . Методы исследования поведения . дои : 10.3758/s13428-023-02321-z . ISSN   1554-3528 .
  55. ^ «Amazon Mechanical Turk — ярмарка коллективной работы» . Проверено 24 января 2023 г.
  56. ^ Ипейротис, PG (2010). Анализ рынка механических турок Amazon. XRDS: Crossroads, Журнал ACM для студентов , 17 (2), 16-21.
  57. ^ Шмидт, Флориан Александр (2013). «Хорошее, плохое и злое: почему краудсорсингу нужна этика». Международная конференция по облачным и экологически чистым вычислениям , 2013 г. стр. 531–535. дои : 10.1109/CGC.2013.89 . ISBN  978-0-7695-5114-2 . S2CID   18798641 .
  58. ^ Хара, Котаро; Адамс, Эбигейл; Милланд, Кристи; Сэвидж, Саиф; Каллисон-Берч, Крис; Бигэм, Джеффри П. (21 апреля 2018 г.). «Анализ заработков работников Amazon Mechanical Turk на основе данных» . Материалы конференции CHI 2018 года по человеческому фактору в вычислительных системах . ЧИ '18. Нью-Йорк, штат Нью-Йорк, США: Ассоциация вычислительной техники. стр. 1–14. дои : 10.1145/3173574.3174023 . ISBN  978-1-4503-5620-6 . S2CID   5040507 .
  59. ^ Берг, Дж. (2015). Гарантия дохода в экономике по требованию: выводы и политические уроки из опроса краудворкеров. Журнал «Сравнительное трудовое право и политика», 37, 543.
  60. ^ Литман, Лейб; Робинсон, Джонатан; Розен, Зон; Розенцвейг, Чески; Ваксман, Джошуа; Бейтс, Лиза М. (21 февраля 2020 г.). «Сохранение неравенства в оплате труда: гендерный разрыв в оплате труда на анонимном онлайн-рынке труда» . ПЛОС ОДИН . 15 (2): e0229383. Бибкод : 2020PLoSO..1529383L . дои : 10.1371/journal.pone.0229383 . ISSN   1932-6203 . ПМК   7034870 . ПМИД   32084233 .
  61. ^ «MTurk — наиболее этичный способ найма работников толпы» . Блог | ТёркерВью . 18.11.2019 . Проверено 24 января 2023 г.
  62. ^ Марвит, Моше З. (5 февраля 2014 г.). «Как краудворкеры стали призраками цифровой машины» . www.thenation.com .
  63. ^ Нью-Йорк Таймс (10 апреля 2018 г.). «Cambridge Analytica и грядущий крах данных» . Нью-Йорк Таймс . Проверено 13 апреля 2018 г.
  64. ^ Хэл Ходсон (7 февраля 2013 г.). «Краудсорсинг растет по мере объединения онлайн-работников» . Новый учёный . Проверено 21 мая 2015 г.
  65. ^ «тюркоптикон» . turkopticon.ucsd.edu .
  66. ^ Марк Харрис (3 декабря 2014 г.). « Работники Amazon Mechanical Turk протестуют: «Я человек, а не алгоритм » » . Хранитель . Проверено 6 октября 2015 г.
  67. ^ Фингас, Джон (3 декабря 2014 г.). « Работники Amazon Mechanical Turk хотят, чтобы с ними обращались как с людьми » . Engadget . Проверено 6 октября 2015 г.
  68. ^ Джеймс Винсент (4 декабря 2014 г.). «Механические туркеры Amazon хотят, чтобы их считали «настоящими людьми» » . Грань . Проверено 6 октября 2015 г.
  69. ^ Сара Кесслер (19 февраля 2015 г.). «КАК ВЫГЛЯДИТ ПРОФСОЮЗ В ГИГ-ЭКОНОМИКЕ?» . Компания Фаст . Проверено 6 октября 2015 г.
  70. ^ Jump up to: Перейти обратно: а б Семюэлс, Алана (23 января 2018 г.). «Интернет открывает новый вид плохо оплачиваемого ада» . Атлантика . Проверено 25 апреля 2019 г.
  71. ^ «Яндекс.Толока» .

Дальнейшее чтение [ править ]

Внешние ссылки [ править ]

Retrieved from "https://en.wikipedia.org/w/index.php?title=Amazon_Mechanical_Turk&oldid=1227027170"
Arc.Ask3.Ru: конец переведенного документа.
Arc.Ask3.Ru
Номер скриншота №: a0eee8d0cc00471f21a5a07e366310b3__1717386540
URL1:https://arc.ask3.ru/arc/aa/a0/b3/a0eee8d0cc00471f21a5a07e366310b3.html
Заголовок, (Title) документа по адресу, URL1:
Amazon Mechanical Turk - Wikipedia
Данный printscreen веб страницы (снимок веб страницы, скриншот веб страницы), визуально-программная копия документа расположенного по адресу URL1 и сохраненная в файл, имеет: квалифицированную, усовершенствованную (подтверждены: метки времени, валидность сертификата), открепленную ЭЦП (приложена к данному файлу), что может быть использовано для подтверждения содержания и факта существования документа в этот момент времени. Права на данный скриншот принадлежат администрации Ask3.ru, использование в качестве доказательства только с письменного разрешения правообладателя скриншота. Администрация Ask3.ru не несет ответственности за информацию размещенную на данном скриншоте. Права на прочие зарегистрированные элементы любого права, изображенные на снимках принадлежат их владельцам. Качество перевода предоставляется как есть. Любые претензии, иски не могут быть предъявлены. Если вы не согласны с любым пунктом перечисленным выше, вы не можете использовать данный сайт и информация размещенную на нем (сайте/странице), немедленно покиньте данный сайт. В случае нарушения любого пункта перечисленного выше, штраф 55! (Пятьдесят пять факториал, Денежную единицу (имеющую самостоятельную стоимость) можете выбрать самостоятельно, выплаичвается товарами в течение 7 дней с момента нарушения.)