Эксперимент «Волшебник страны Оз»

В области взаимодействия человека и компьютера «Волшебник страны Оз» эксперимент — это исследовательский эксперимент, в котором субъекты взаимодействуют с компьютерной системой, которую субъекты считают автономной, но которая на самом деле управляется или частично управляется невидимым человеком .

Концепция

Фраза «Волшебник страны Оз» (первоначально «Парадигма ОЗ ») стала широко использоваться в областях экспериментальной психологии , человеческого фактора, эргономики , лингвистики и разработки юзабилити для описания методологии тестирования или итеративного проектирования, в которой экспериментатор («волшебник») в лабораторных условиях имитирует поведение теоретического интеллектуального компьютерного приложения (часто переходя в другую комнату и перехватывая все сообщения между участником и системой). Иногда это делается с предварительным знанием участника, а иногда это обман низкого уровня, используемый для управления ожиданиями участника и поощрения естественного поведения.

Например, участник теста может думать, что он общается с компьютером с помощью речевого интерфейса, тогда как на самом деле слова участника тайно вводятся в компьютер человеком из другой комнаты («волшебником») и обрабатываются как текстовый поток. а не как аудиопоток. Недостающие функциональные возможности системы, предоставляемые мастером, могут быть реализованы в более поздних версиях системы (или даже могут представлять собой гипотетические возможности, которых нет в современных системах), но их точные детали обычно считаются не имеющими отношения к исследованию. В ситуациях тестирования целью таких экспериментов может быть наблюдение за использованием и эффективностью предложенного пользовательского интерфейса участниками тестирования, а не измерение качества всей системы.

Волшебник страны Оз в разработке программного обеспечения

Волшебник страны Оз используется, чтобы избежать необходимости в компоненте принятия решений, который обычно объединяет запросы и ответы алгоритмическим способом. Это делается путем предоставления пользователю заранее определенных ответов автоматически или вручную. В разработке программного обеспечения это может означать некую упрощенную версию желаемого алгоритма; который обрабатывается вручную или с помощью машины, чтобы решить, какой из заранее определенных ответов следует дать в ответ.

«Волшебник страны Оз» может быть либо бумажным, либо цифровым, где реакция заранее определяется человеком. Человеку не обязательно давать ответ в режиме реального времени. Если удается автоматически дать правильные документы в бумаге-прототипе, при нажатии на части бумаги, у вас также есть Волшебник из страны Оз (например, с использованием Raspberry Pi, сенсорных датчиков и механического устройства для обработки бумаг).

Сегодня наиболее распространенное использование «Волшебника страны Оз» — цифровое. Это делается путем автоматизации ответов на запросы во внешнем интерфейсе, когда серверный интерфейс недоступен. Отдавая конкретный запрос на серверную часть, вы получаете обратно заранее определенный ответ, созданный человеком.

Иногда важна возможность предоставления контекста в качестве входных данных (время, местоположение GPS), что делает пользователя мастером; поскольку эта информация обычно предоставляется системой. Предоставляя возможность указать контекст в качестве входных данных, обычно предоставляемый системой, можно создать реальный сценарий; где ответы заранее определены, либо даются автоматически, либо вручную человеком.

Источник

Название эксперимента взято из романа Л. Фрэнка Баума 1900 года «Чудесный волшебник страны Оз» , в котором обычный человек прячется за занавеской и притворяется, с помощью «усиливающей» технологии, могущественным волшебником .

Джон Ф. («Джефф») Келли придумал для этой цели фразы «Волшебник страны ОЗ» и «Парадигма ОЗ» примерно в 1980 году, чтобы описать метод, который он разработал во время своей диссертационной работы в Университете Джонса Хопкинса . (Его руководителем диссертации был покойный профессор Альфонс Чапатис , которого иногда называли «крестным отцом человеческого фактора и инженерной психологии».) Во время исследования, помимо односторонних зеркал и других методов, Келли разделяла затемняющая занавеска («Крестный отец человеческого фактора и инженерной психологии») . Волшебник") с точки зрения участника.

Методика «экспериментатор в цикле» была впервые применена в исследовательской лаборатории коммуникаций Чапатиса при Университете Джонса Хопкинса еще в 1975 году (Дж. Ф. Келли прибыл в 1978 году). У. Рэндольф Форд использовал метод «экспериментатор в цикле» в своей инновационной программе CHECKBOOK, в которой он получил образцы языка в натуралистической обстановке. В методе Форда предварительная версия системы обработки естественного языка будет помещена перед пользователем. Когда пользователь вводил синтаксис, который не был распознан, он получал сообщение «Не могли бы вы это перефразировать?» подсказку из программного обеспечения. После сеанса будут созданы или усовершенствованы алгоритмы обработки вновь полученных образцов и состоится еще один сеанс. Этот подход привел в конечном итоге к разработке его техники обработки естественного языка «Многоэтапное сокращение шаблонов». По воспоминаниям доктора Форда, доктор Келли действительно придумал фразу «Парадигма Волшебника из страны Оз», но эта техника использовалась по крайней мере в двух отдельных исследованиях до того, как доктор Келли начал проводить исследования в Телекоммуникационной лаборатории Джона Хопкинса. Аналогичное раннее использование этой техники для моделирования системы понимания естественного языка, разрабатываемой в исследовательском центре Xerox в Пало-Альто, было осуществлено Алленом Манро и Доном Норманом примерно в 1975 году в Калифорнийском университете в Сан-Диего. Опять же, название «Волшебник страны Оз» к этой технике еще не применялось. Результаты были опубликованы в статье группы (Бобров и др.) в 1977 году.

В этом случае экспериментатор («Волшебник») сидел за терминалом в соседней комнате, отделенной односторонним зеркалом, чтобы можно было наблюдать за субъектом. Каждый ввод пользователя обрабатывался правильно благодаря сочетанию программной обработки и вмешательства экспериментатора в реальном времени. По мере того, как процесс повторялся в последующих сеансах, добавлялось все больше и больше программных компонентов, так что экспериментатору приходилось делать все меньше и меньше в течение каждого сеанса, пока не была достигнута асимптотика роста словаря фраз/слов и экспериментатор не мог «пойти выпить чашку кофе». " во время сеанса (который на этом этапе представлял собой перекрестную проверку автоматической производительности конечной системы).

И последнее: воспоминания доктора Келли об изобретении этого термина подтверждаются воспоминаниями покойного профессора Аль Чапаниса. Мичиганского университета за 1985 год В своем техническом отчете Грин и Вей-Хаас заявляют следующее: Имя «Волшебник страны Оз» впервые появилось в печати в диссертации Джеффа Келли (Kelley, 1983a, 1983b, 1984a). Считается, что это название было придумано в ответ на вопрос на семинаре для выпускников Хопкинса (Чапанис, 1984; Келли, 1984b). «Что произойдет, если испытуемый увидит экспериментатора [за «занавеской» в соседней комнате, играющего роль компьютера]?» Келли ответила: «Ну, это то же самое, что случилось с Дороти в «Волшебнике страны Оз». И поэтому название прижилось. (Цитируется с разрешения.)

Есть также мимолетное упоминание о запланированном использовании «экспериментов Волшебника страны Оз» в протоколе Форда и Смита 1982 года.

В диссертации Келли представлен один факт об этимологии этого термина в этом контексте: у доктора Келли изначально было определение аббревиатуры «ОЗ» (не считая очевидных параллелей с книгой Л. Франка «Чудесный волшебник страны Оз» 1900 . года ) Баум ). «Офлайновый ноль» был отсылкой к тому факту, что экспериментатор («Мастер») интерпретировал вводимые пользователем данные в реальном времени на этапе моделирования.

Подобные экспериментальные установки иногда использовались и раньше, но без названия «Волшебник страны Оз». Исследователь дизайна Найджел Кросс проводил исследования в 1960-х годах с «моделированными» системами автоматизированного проектирования , где предполагаемым симулятором на самом деле был человек-оператор, использующий текстовую и графическую связь через систему видеонаблюдения . Как он объяснил: «Все, что пользователь воспринимает в системе, — это консоль удаленного доступа, а все остальное для него — черный ящик. …черный ящик можно с таким же успехом заполнить людьми, как и машинами. Это обеспечивает сравнительно дешевый симулятор, обладающий замечательными преимуществами гибкости, памяти и интеллекта человека-оператора, который можно перепрограммировать для выполнения широкого спектра компьютерных ролей, просто изменив правила работы. Иногда ему не хватает скорости и точности реального компьютера. , но команда экспертов, работающая одновременно, может компенсировать это в достаточной степени, чтобы обеспечить приемлемое моделирование». Позже Кросс назвал это своего рода обратным тестом Тьюринга .

Значение

Метод Волшебника страны ОЗ очень мощный. В своем первоначальном приложении доктор Келли смог создать простую систему распознавания естественного языка с клавиатурным вводом, которая намного превосходила скорость распознавания любой из гораздо более сложных систем того времени.

Среди многих ученых-компьютерщиков и лингвистов в то время считалось, что для того, чтобы компьютер мог «понимать» естественный язык в достаточной степени, чтобы помогать в выполнении полезных задач, программное обеспечение должно быть прикреплено к огромному компьютеру. словарь», имеющий большое количество категорий для каждого слова. Категории позволят очень сложному алгоритму синтаксического анализа разгадать двусмысленности, присущие естественно созданному языку. Непростая задача создания такого словаря заставила многих поверить в то, что компьютеры просто никогда не смогут по-настоящему «понимать» язык до тех пор, пока их не «вырастят» и они не «испытают жизнь» как люди, поскольку люди, похоже, применяют к интерпретации жизненный опыт. языка.

Ключевым фактором, способствующим первому использованию метода OZ, было то, что система была спроектирована для работы в едином контексте (ведение календаря), что ограничивало сложность языка, с которым сталкиваются пользователи, до такой степени, когда было достаточно простой модели языковой обработки. для достижения целей приложения. Модель обработки представляла собой двухпроходный подход сопоставления ключевого слова и ключевой фразы, основанный на алгоритмах, использованных в знаменитой Вейценбаума «Элиза» программе . Побудив участников генерировать языковые образцы в контексте решения реальной задачи (с использованием компьютера, который, по их мнению, действительно понимал, что они печатают), было значительно уменьшено разнообразие и сложность собранных лексических структур и можно было разработать простые алгоритмы сопоставления ключевых слов. для решения фактического собранного языка.

Первое использование OZ произошло в контексте итеративного подхода к проектированию . На ранних этапах разработки экспериментатор моделировал систему целиком , выполняя все запросы к базе данных и вручную составляя все ответы участникам. По мере развития процесса экспериментатор мог постепенно заменять вмешательство человека вновь созданным разработанным кодом (который на каждом этапе был разработан для точной обработки всех входных данных, сгенерированных на предыдущих этапах). К концу процесса экспериментатор имел возможность наблюдать за сеансами в режиме «невмешательства» (и измерять скорость распознавания завершенной программы).

ОЗ был важен, поскольку он устранял очевидную критику о том, что было бы нереально использовать итеративный метод для построения отдельной системы естественного языка (словарей, синтаксиса) для каждого нового контекста (поскольку такой метод потребовал бы неоднократного добавления новых структур и алгоритмов для обработки каждую новую партию входных данных). Эмпирический подход ОЗ сделал это возможным; в исходном приложении рост словаря и синтаксиса достиг асимптотического уровня (достигая уровня распознавания от 86% до 97%, в зависимости от использованных измерений) всего после 16 экспериментальных испытаний, и полученная программа со словарями содержала менее 300 тысяч кода.

В течение 23 лет, прошедших после первой публикации, метод OZ использовался в самых разных условиях, в частности, при создании прототипов и тестировании удобства использования предлагаемых проектов пользовательского интерфейса до того, как будет установлено реальное прикладное программное обеспечение.

См. также

• Обратный тест Тьюринга - тест Тьюринга, в котором цели или роли между компьютерами и людьми поменялись местами.
• Китайская комната — мысленный эксперимент с аналогичной предпосылкой.
• Устройство «Турк -Волшебник страны Оз» использовалось как поддельная шахматная машина

Ссылки

Вот некоторые из оригинальных (и последующих) ссылок на эту тему (этот метод был использован во многих областях исследований, и существует множество последующих ссылок, лишь некоторые из которых перечислены здесь).

Краткое изложение технических аспектов работы:

Келли, Дж. Ф., «CAL - программа на естественном языке, разработанная с использованием парадигмы OZ: последствия для суперкомпьютерных систем». Первая международная конференция по суперкомпьютерным системам (Санкт-Петербург, Флорида, 16–20 декабря 1985 г.), Нью-Йорк, ACM, стр. 238–248.

Краткое описание метода:

Келли, Дж. Ф., «Эмпирическая методология написания удобных для пользователя компьютерных приложений на естественном языке». Труды ACM SIG-CHI '83 «Человеческий фактор в вычислительных системах» (Бостон, 12–15 декабря 1983 г.), Нью-Йорк, ACM, стр. 193–196. [1]

Лучшее описание метода:

Келли, Дж. Ф., «Методология итеративного проектирования удобных для пользователя офисных информационных приложений на естественном языке». Транзакции ACM в офисных информационных системах, март 1984 г., 2:1, стр. 26–41. [2]

Сама неопубликованная диссертация:

Келли, Дж. Ф., «Естественный язык и компьютеры: шесть эмпирических шагов для написания простого в использовании компьютерного приложения». Неопубликованная докторская диссертация, Университет Джонса Хопкинса, 1983 г. (Товар 8321592 можно получить в University Microfilms International; 300 North Zeeb Road; Анн-Арбор; Мичиган; 48106; США.)

Калифорнийский университет в Сан-Диего работает:

Боброу Д., Каплан Р., Кей М., Норман Д., Томпсон Х. и Виноград Т. (1977). GUS, диалоговая система, управляемая фреймами. Искусственный интеллект, 8:2 (апрель 1977 г.) 155–173., 8 (2), 155–173.

Последующие ссылки и реализации (выборка цитат примерно за 30 лет):

Шибен А. и др. 2009, «Техника театральной системы: гибкое проектирование и тестирование поведения и взаимодействия системы применительно к высокоавтоматизированным транспортным средствам». В материалах 1-й Международной конференции по автомобильным пользовательским интерфейсам и интерактивным автомобильным приложениям (Эссен, Германия, 2009 г.). ACM Press, Нью-Йорк, США. [3]

Акерс, Д. 2006. «Волшебник страны Оз» для совместного проектирования: изобретение жестового интерфейса для трехмерного выбора оценок нейронных путей. В расширенных тезисах CHI '06 по человеческому фактору в вычислительных системах (Монреаль, Квебек, Канада, 22–27 апреля 2006 г.). ЧИ '06. ACM Press, Нью-Йорк, США, 454–459. [4]

Хёйсниеми Дж., Хямяляйнен П. и Туркки Л. 2004. «Волшебник страны Оз» прототипирует экшн-игры для детей на основе компьютерного зрения. В материалах конференции 2004 г. «Дизайн взаимодействия и дети: построение сообщества» (Мэриленд, 1–03 июня 2004 г.). ИДЦ '04. ACM Press, Нью-Йорк, США, 27–34. [5]

Молин, Л. 2004. Прототипирование «Волшебником страны Оз» для совместного проектирования графических пользовательских интерфейсов. В материалах Третьей скандинавской конференции по взаимодействию человека и компьютера (Тампере, Финляндия, 23–27 октября 2004 г.). NordiCHI '04, том. 82. ACM Press, Нью-Йорк, США, 425-428. [6]

Лай Дж. и Янкелович Н. 2003. Разговорные речевые интерфейсы. В Справочнике по взаимодействию человека и компьютера: основы, развивающиеся технологии и новые приложения, Дж. А. Джеко и А. Сирс, ред. Человеческий фактор и эргономика. Lawrence Erlbaum Associates, Махва, Нью-Джерси, США, 698-713.

Глейхер, М.Л., Хек, Р.М. и Уоллик, Миннесота, 2002. Структура виртуальной видеосъемки. В материалах 2-го международного симпозиума по интеллектуальной графике (Хоторн, Нью-Йорк, 11–13 июня 2002 г.). SMARTGRAPH '02, вып. 24. ACM Press, Нью-Йорк, США, 9–16. [7]

Клеммер С.Р., Синха А.К., Чен Дж., Ландей Дж.А., Абобейкер Н. и Ван А. 2000. Замша: инструмент создания прототипов «Волшебника страны Оз» для речевых пользовательских интерфейсов. В материалах 13-го ежегодного симпозиума ACM по программному обеспечению и технологиям пользовательского интерфейса (Сан-Диего, Калифорния, США, 6–08 ноября 2000 г.). УИСТ '00. ACM Press, Нью-Йорк, США, 1–10. [8]

Хьюитт, Томас Т. (и др.), «Учебная программа по взаимодействию человека и компьютера», ACM SIGCHI, 1992, 1996, глава 2. [9]

Пьерно П.П., Фельчиано Р.М., Стансель Р., Марш Дж. и Ивон М. 1995. Проектирование PenPal: сочетание аппаратного и программного обеспечения в пользовательском интерфейсе для детей. В материалах конференции SIGCHI по человеческому фактору в вычислительных системах (Денвер, Колорадо, США, 7–11 мая 1995 г.). И. Р. Кац, Р. Мак, Л. Маркс, М. Б. Россон и Дж. Нильсен, ред. Конференция по человеческому фактору в вычислительных системах. ACM Press/Addison-Wesley Publishing Co., Нью-Йорк, США, 511–518. [10]

Прагер Дж. М., Ламберти Д. М., Гарднер Д. Л. и Бальзак С. Р. 1990. ПРИЧИНА: интеллектуальный помощник пользователя для интерактивных сред. IBM Сист. Дж. 29, 1 (январь 1990 г.), 141–164.

Дальбек Н. и Йонссон А. 1989. Эмпирические исследования представлений дискурса для интерфейсов естественного языка. В материалах четвертой конференции европейского отделения Ассоциации компьютерной лингвистики (Манчестер, Англия, 10–12 апреля 1989 г.). Заседание Европейского отделения ACL. Ассоциация компьютерной лингвистики, Морристаун, Нью-Джерси, США, 291–298. [11]

Кэрролл Дж. и Ааронсон А. 1988. Обучение на практике с помощью моделируемой интеллектуальной помощи. Коммун. ACM 31, 9 (август 1988 г.), 1064–1079. [12]

Гулд, Дж. Д. и Льюис, К. 1985. Проектирование для удобства использования: ключевые принципы и то, что думают дизайнеры. Коммун. ACM 28, 3 (март 1985 г.), 300–311. [13]

Грин П. и Вей-Хаас Л. 1985. Быстрое развитие пользовательских интерфейсов: опыт работы с мастером метода ОЗ. В материалах ежегодного собрания Общества человеческого фактора и эргономики, том 29, номер 5, 1985 г., стр. 470–474 (5). [14]

Эмбли, Д.В., и Кимбрелл, Р.Э. 1985. Управляемый схемой переводчик запросов на естественный язык. В материалах тринадцатой ежегодной конференции ACM по информатике 1985 года (Новый Орлеан, Луизиана, США). ЦСК '85. ACM Press, Нью-Йорк, США, 292–297. [15]

Гуд, М.Д., Уайтсайд, Дж.А., Виксон, Д.Р., и Джонс, С.Дж., 1984. Создание пользовательского интерфейса. Коммун. ACM 27, 10 (октябрь 1984 г.), 1032–1043. [16]