Премия Лебнера
Премия Лебнера — это ежегодный конкурс в области искусственного интеллекта , в ходе которого присуждались компьютерные программы, которые судьи считали наиболее похожими на человека. Формат конкурса был стандартным тестом Тьюринга . В каждом раунде судья-человек одновременно вел текстовые беседы с компьютерной программой и человеком через компьютер. На основании ответов судья попытается определить, что есть что.
Конкурс был учрежден в 1990 году Хью Лебнером совместно с Кембриджским центром поведенческих исследований , Массачусетс , США . Начиная с 2014 года [1] оно было организовано AISB в Блетчли-парке . [2] Он также был связан с Университетом Флиндерс , Дартмутским колледжем , Музеем науки в Лондоне , Университетом Рединга и Ольстерским университетом , кампусом Маги , Дерри , британским городом культуры .В 2004 и 2005 годах он проходил в квартире Лебнера в Нью-Йорке . В области искусственного интеллекта премия Лебнера вызывает некоторые споры; Самый известный критик Марвин Мински назвал это рекламным ходом, который не помогает отрасли. [3]
Формат финального конкурса 2019 года изменился. Судейской коллегии не было. Вместо этого чат-боты оценивались публикой, и среди людей не должно было быть конкурентов. [4] Сообщается, что с 2020 года премия прекратила свое существование. [5]
Призы
[ редактировать ]Первоначально за самую человечную программу конкурса была присуждена 2000 долларов. Приз составил 3000 долларов в 2005 году и 2250 долларов в 2006 году. В 2008 году было присуждено 3000 долларов.
Кроме того, были вручены две разовые премии, которые так и не были вручены. 25 000 долларов предлагается за первую программу, которую судьи не смогут отличить от настоящего человека и которая сможет убедить судей в том, что человек — это компьютерная программа. 100 000 долларов — это награда за первую программу, которую судьи не смогут отличить от настоящего человека в тесте Тьюринга, включающем расшифровку и понимание текстовых, визуальных и слуховых данных. Конкурс планировалось завершить после достижения этого приза.
Правила и ограничения соревнований
[ редактировать ]Правила менялись с годами, и первые соревнования включали тесты Тьюринга с ограниченным разговором. [6] но с 1995 года обсуждение не было ограничено.
В трёх работах 2007 года: Роберт Медексза, Ной Дункан и Ролло Карпентер . [7] Спонсор использовал некоторые основные «проверочные вопросы» для оценки состояния технологии. В их число входили простые вопросы о времени, о том, какой сейчас тур конкурса и т. д.; общие знания («Для чего нужен молоток?»); сравнения («Что быстрее, поезд или самолет?»); и вопросы, демонстрирующие запоминание предыдущих частей одного и того же разговора. «Все существительные, прилагательные и глаголы взяты из словаря, подходящего для детей и подростков в возрасте до 12 лет». Для того чтобы заявки были приняты, не обязательно было «разумно» отвечать на вопросы.
Впервые в 2008 году спонсор разрешил ввести предварительный этап конкурса, открыв конкурс для ранее запрещенных заявок через Интернет, которые будут оцениваться различными приглашенными исследователями. В имеющихся правилах не указано, как отбираются и инструктируются следователи. У следователей (судящих системы) время ограничено: 5 минут на одного субъекта в соревнованиях 2003 г., 20+ на пару в соревнованиях 2004–2007 гг., 5 минут на ведение одновременных разговоров с человеком и программой в 2008–2009 гг. увеличено до 25. минут одновременного разговора с 2010 года.
Критика
[ редактировать ]Премия уже давно пренебрегается экспертами в этой области. [8] по целому ряду причин.
Многие считают это пиар-ходом. [9] [10] Марвин Мински язвительно предложил «приз» тому, кто сможет остановить соревнование. В ответ Лёбнер в шутку заметил, что предложение Минского приза за прекращение конкурса фактически сделало его соавтором. [11]
Правила соревнований поощряют неквалифицированных судей выносить поспешные решения. Взаимодействие между судьями и участниками изначально было очень кратким, например, фактически допрос длился 2,5 минуты, что позволяло задать лишь несколько вопросов. [9] Первоначально допрос ограничивался одной темой по выбору участника, например «причудливый разговор». [8] [12] домен, подходящий для стандартных трюков чат-бота. [13]
Участники конкурса не стремятся к пониманию или интеллекту, а прибегают к базовым приемам стиля ELIZA , [9] [14] и успешные участники обнаруживают, что обман и притворство вознаграждаются. [15]
Конкурсы
[ редактировать ]2006
[ редактировать ]В 2006 году конкурс организовали Тим Чайлд (генеральный директор Televirtual) и Хума Шах. [16] [17] 30 августа были объявлены четыре финалиста:
- Ролло Карпентер
- Ричард Черчилль и Мари-Клэр Дженкинс
- Ной Дункан
- Роберт Медексза
Конкурс прошел 17 сентября в VR-театре кампуса Торрингтон-Плейс Университетского колледжа Лондона . Университета Рединга кибернетики В состав судей вошли профессор Кевин Уорвик , профессор искусственного интеллекта Джон Барнден (специалист по исследованиям метафор в Университете Бирмингема ), адвокат Виктория Батлер-Коул и журналист Грэм Дункан-Роу. С впечатлениями последнего о мероприятии можно ознакомиться в статье в Technology Review . [18] [19] Победителем стала «Джоан», основанная на Джабберваки , созданных Ролло Карпентером.
2007
[ редактировать ]Конкурс 2007 года прошел 21 октября в Нью-Йорке. Судьями были: профессор информатики Расс Эбботт, профессор философии Хартри Филд , доцент психологии Клейтон Кертис и преподаватель английского языка Скотт Хатчинс . [20]
Ни один бот не прошел тест Тьюринга, но судьи оценили трех участников следующим образом:
- 1-е место: Роберт Медексза, создатель Ultra Hal
- 2-е место: Ной Дункан, частная запись, создатель Клетуса.
- 3-е место: Ролло Карпентер из Icogno, создатель Jabberwacky.
Победитель получил 2250 долларов и ежегодную медаль. Участники, занявшие второе место, получили по 250 долларов каждый.
2008
[ редактировать ]Конкурс 2008 года был организован профессором Кевином Уорвиком при координации Хумы Шаха и прошел 12 октября в Университете Рединга, Великобритания . [21] После тестирования более ста судей на предварительном этапе в июне и июле 2008 года шесть финалистов были выбраны из тринадцати первоначальных искусственных разговорных объектов (ACE). В финале соревновались пятеро из приглашенных:
- Брат Джером, Питер Коул и Бенджи Адамс
- Элбот , Фред Робертс / Искусственные решения
- Eugene Goostman , Vladimir Veselov, Eugene Demchenko and Sergey Ulasen
- Джабберваки, Ролло Карпентер
- Ультра Хэл, Роберт Медексза
В финале каждому судье было дано пять минут на то, чтобы вести одновременный разговор на разделенном экране с двумя скрытыми существами. Элбот [22] искусственных решений [23] выиграл бронзовую награду премии Лебнера 2008 года за самое человекоподобное искусственное разговорное существо, обманув троих из двенадцати судей, допрашивавших его (в ходе параллельных сравнений между людьми), заставив их поверить, что это человек. Это очень близко к 30%, которые традиционно требуются для того, чтобы считать, что программа действительно прошла тест Тьюринга. Юджин Густман [24] и Ультра Хэл [25] оба обманули одного судью, что это был человек.
Уилл Павиа, журналист The Times , написал о своем опыте; Судья финала Лебнера, его обманули Элбот и Юджин. [26] Кевин Уорвик и Хума Шах сообщили о параллельных парных тестах Тьюринга. [27]
2009
[ редактировать ]Конкурс на премию Лебнера 2009 года проводился 6 сентября 2009 года в Брайтон-центре , Брайтон, Великобритания, одновременно с конференцией Interspeech 2009. Сумма приза в 2009 году составила 3000 долларов США.
Участниками были Дэвид Леви , Ролло Карпентер и Мохан Эмбар, которые финишировали именно в таком порядке.
Писатель Брайан Кристиан участвовал в конкурсе на премию Лебнера 2009 года в качестве сообщника-человека и описал свой опыт участия в конкурсе в своей книге «Самый человечный человек» .
2010
[ редактировать ]Конкурс на премию Лебнера 2010 года состоялся 23 октября в Калифорнийском государственном университете в Лос-Анджелесе. Конкурс 2010 года стал 20-м по счету. Победителем стал Брюс Уилкокс с Сюзетт.
2011
[ редактировать ]Конкурс на премию Лебнера 2011 года состоялся 19 октября в Эксетерском университете , Девон , Великобритания. Сумма приза в 2011 году составила 4000 долларов США.
Четырьмя финалистами и их чат-ботами стали Брюс Уилкокс (Розетта), Адина Миньогна (Зои), Мохан Эмбар (Чип Вивант) и Рон Ли (Репетитор), которые финишировали именно в таком порядке.
В том же году в состав жюри вошли молодые судьи, а именно Джорджия-Мэй Линдфилд, Уильям Данн, Сэм Кит и Кирилл Джердев. Результаты юниорского конкурса заметно отличались от основного: первое место разделили чат-боты Tutor и Zoe, а третье и четвертое места соответственно заняли Chip Vivant и Rosette.
2012
[ редактировать ]Конкурс на премию Лебнера 2012 года проводился 15 мая в Блетчли-парке в Блетчли , Бакингемшир , Англия, в честь празднования столетия Алана Тьюринга . Сумма приза в 2012 году составила 5000 долларов США. Организатором местных аранжировок был Дэвид Леви, лауреат премии Лебнера в 1997 и 2009 годах.
Четырьмя финалистами и их чат-ботами стали Мохан Эмбар (Чип Вивант), Брюс Уилкокс (Анжела), Дэниел Берк (Адам), М. Аллан (Лингуо), которые финишировали именно в таком порядке.
В том же году команда факультета компьютерных наук Эксетерского университета (Эд Кидвелл, Макс Дюпенуа и Кент МакКлимонт) провела первую в истории прямую интернет-трансляцию бесед. [28]
2013
[ редактировать ]Конкурс на премию Лебнера 2013 года проводился, единственный раз на острове Ирландия , 14 сентября в Ольстерском университете , колледже Маги , Дерри , Северная Ирландия , Великобритания.
Четырьмя финалистами и их чат-ботами стали Стив Уорсвик (Мицуку), доктор Рон С. Ли (репетитор), Брюс Уилкокс (Роуз) и Брайан Ригсби (Изар), которые финишировали именно в таком порядке.
Судьями были профессор Роджер Шанк (сократическое искусство), профессор Ноэль Шарки ( Шеффилдский университет ), профессор Минхуа (Юнис) Ма ( Университет Хаддерсфилда , затем Университет Глазго ).и профессор Майк Мактир ( Университет Ольстера ).
На конкурсе Junior Loebner Prize 2013 чат-боты Мицуку и Тьютор разделили первое место, а Роуз и Изар заняли 3-е и 4-е места соответственно.
2014
[ редактировать ]Конкурс на премию Лебнера 2014 года проходил в Блетчли-парке, Англия, в субботу, 15 ноября 2014 года. Мероприятие снималось в прямом эфире Sky News. Приглашенным судьей стал телеведущий и телеведущий Джеймс Мэй.
После двухчасового судейства победителем была признана «Роза» Брюса Уилкокса. Брюс получит чек на 4000 долларов и бронзовую медаль. Ранги были следующими:
Роуз — 1 место (4000 долларов и бронзовая медаль); Изар - Ранг 2,25 (1500$); Убербот — Ранг 3,25 (1000$); и Мицуку — ранг 3,5 (500 долларов).
Судьями были доктор Ян Хокинг, писатель и старший преподаватель психологии Колледжа Крайст-Черч, Кентербери; д-р Гита Куадри-Мостефауи, преподаватель компьютерных наук и технологий Бедфордширского университета; г-н Джеймс Мэй, телеведущий и телеведущий; и Доктор Пол Сант, декан UCMK Бедфордширского университета.
2015
[ редактировать ]Конкурс на премию Лебнера 2015 года снова выиграла «Роза» Брюса Уилкокса. [29]
Судьями были Джейкоб Аарон, репортер журнала New Scientist по физике; Рори Селлан-Джонс, корреспондент BBC по технологиям; Бретт Марти, кинорежиссер и фотограф; Ариадна Тампион, писательница.
2016
[ редактировать ]Премия Лебнера 2016 года прошла в Блетчли-парке 17 сентября 2016 года. После двух часов судейства были объявлены окончательные результаты. Ранги были следующими:
2017
[ редактировать ]Премия Лёбнера 2017 года была проведена в Блетчли-парке 16 сентября 2017 года. Это был первый конкурс, в котором использовалось новое сообщение по протоколу сообщения, а не традиционное по одному символу за раз.Ранги были следующими и были объявлены Nao_(роботом) :
2018
[ редактировать ]Премия Лебнера 2018 года проводилась в Блетчли-парке 8 сентября 2018 года. Это был последний раз, когда она проводилась в традиционном формате теста Тьюринга, и последний раз в Блетчли-парке.Ранги были следующими:
2019
[ редактировать ]Премия Лебнера 2019 года проходила в Университете Суонси с 12 по 15 сентября в рамках более крупной выставки, посвященной творчеству компьютеров. Формат конкурса изменился с традиционного теста Тьюринга с избранными судьями и людьми на четырехдневную сессию тестирования, где представители широкой публики, включая школьников, могли взаимодействовать с ботами, заранее зная, что боты не люди. . Вместо обычных 4-х финалистов приняли участие семнадцать ботов. Стив Уорсвик в рекордный 5-й раз одержал победу вместе с Мицуку, что позволило ему попасть в Книгу рекордов Гиннеса. [31]
Избранное жюри из судей также рассмотрело и проголосовало за те, которые им понравились больше всего.Ранги были следующими:
Самый человекоподобный чат-бот:
Лучший чат-бот в целом
Победители
[ редактировать ]Официальный список победителей. [32]
| Год | Победитель | Программа |
|---|---|---|
| 1991 | Джозеф Вайнтрауб | «Причудливый разговор» [33] ( ПК-терапевт ) [34] |
| 1992 | Джозеф Вайнтрауб | ПК-терапевт |
| 1993 | Джозеф Вайнтрауб | ПК-терапевт |
| 1994 | Томас Уэлен | СОВЕТЫ |
| 1995 | Джозеф Вайнтрауб | ПК-терапевт |
| 1996 | Джейсон Хатченс | HeX |
| 1997 | Дэвид Леви | Конверсы |
| 1998 | Робби Гарнер | Альберт Один |
| 1999 | Робби Гарнер | Альберт Один |
| 2000 | Ричард Уоллес | Искусственный лингвистический Интернет-компьютерный объект (ALICE) |
| 2001 | Ричард Уоллес | Искусственный лингвистический Интернет-компьютерный объект (ALICE) |
| 2002 | Кевин Коппл | Она |
| 2003 | Юрген Пирнер | Бармаглот |
| 2004 | Ричард Уоллес | Искусственный лингвистический Интернет-компьютерный объект (ALICE) |
| 2005 | Ролло Карпентер | Джордж (Джабберваки) |
| 2006 | Ролло Карпентер | Джоан (Джабберваки) |
| 2007 | Роберт Медексза | Ультра Хэл |
| 2008 | Фред Робертс | Элбот |
| 2009 | Дэвид Леви | Делай гораздо больше |
| 2010 | Брюс Уилкокс | Сюзетта |
| 2011 | Брюс Уилкокс | Розетка [35] |
| 2012 | Мохан Эмбар | Чип жив [36] |
| 2013 | Стив Уорсвик | Мицуку [30] |
| 2014 | Брюс Уилкокс | Роза |
| 2015 | Брюс Уилкокс | Роза |
| 2016 | Стив Уорсвик | Мицуку [30] |
| 2017 | Стив Уорсвик | Мицуку [30] |
| 2018 | Стив Уорсвик | Мицуку [30] |
| 2019 | Стив Уорсвик | Мицуку [30] |
См. также
[ редактировать ]- Список наград в области информатики
- Искусственный интеллект
- Глоссарий искусственного интеллекта
- Робот
- Общий искусственный интеллект
- Эффект Конфедерации
- Компьютерный игровой бот «Тест Тьюринга»
Ссылки
[ редактировать ]- ↑ Премия Лебнера, соревнование по тесту Тьюринга в Блетчли-парке — блог Эксетера , дата обращения 8 декабря 2014 г.
- ^ Премия Лебнера , веб-сайт AISB , дата обращения 23 января 2018 г.
- ↑ Искусственная глупость , Salon.com , 16 февраля 2003 г.
- ^ Уэйкфилд, Джейн (14 сентября 2019 г.). «Любители, увлеченные своим хобби, соревнуются за то, чтобы сделать ИИ человеком» . Новости Би-би-си . Проверено 23 июля 2020 г.
- ^ Уэйкфилд, Джейн (1 ноября 2020 г.). «Роботы-зануды: неловкое первое свидание с помощью искусственного интеллекта» . Новости Би-би-си . Проверено 22 сентября 2021 г.
- ^ « Машины, которые думают», 4 сезон, 3 серия . Научные американские границы . Производственная компания Чедд-Анжер. 1993–1994 гг. ПБС . Архивировано из оригинала 1 января 2006 г.
- ↑ 17-я ежегодная премия Лебнера в области искусственного интеллекта, 21 октября 2007 г., Нью-Йорк.
- ^ Jump up to: а б Пауэрс, Дэвид (1998). «Полный тест Тьюринга и премия Лебнера» . Проверено 29 мая 2016 г. .
- ^ Jump up to: а б с Флориди, Лучано; Таддео, Мариаросария; Турилли, Маттео (2009). «Имитационная игра Тьюринга: все еще невыполнимая задача для всех машин и некоторых судей - оценка конкурса Лёбнера 2008 года». Разум и машины . 19 (19): 145–150. CiteSeerX 10.1.1.672.7417 . дои : 10.1007/s11023-008-9130-6 . S2CID 7888490 .
- ^ Сундман, Джон (27 февраля 2003 г.). «Искусственная глупость» . Салон . Архивировано из оригинала 20 июля 2012 г. Проверено 29 мая 2016 г. .
- ^ Мински, Марвин. «Объявление об отзыве премии Мински Лебнера за 1995 год» . Проверено 29 мая 2016 г. .
- ^ Шибер, Стюарт М. (1993). «Уроки ограниченного теста Тьюринга» . Проверено 2 апреля 2024 г.
- ^ Фишер, Ричард (16 мая 2012 г.). «Чат-ботам не удается убедить, несмотря на получение премии Лебнера» . Новый учёный . Проверено 29 мая 2016 г. .
- ^ Серк, ЗЛинда. «Может ли компьютер думать?» . Би-би-си . Проверено 29 мая 2016 г. .
- ^ Стивенс, Кеннет Р. «Что конкурс Лебнера рассказал нам о коммуникативных системах?» (PDF) . www.behavior.org . Оперантные веб-сайты, Inc. Проверено 29 мая 2016 г. .
- ^ Информация о премии Лебнера 2006 г.
- ^ Лобнер 2006
- ^ Как быть человеком , Обзор технологий , 20 сентября 2006 г.
- ^ Премия Лебнера , loebner.net
- ^ 17-я ежегодная премия Лебнера в области искусственного интеллекта , loebner.net
- ↑ 18-я ежегодная премия Лебнера в области искусственного интеллекта, 12 октября 2008 г., Университет Рединга, Ридинг, Великобритания.
- ^ «Робот Элбот» . www.elbot.com . Архивировано из оригинала 4 января 2015 г. Проверено 12 февраля 2023 г.
- ^ Искусственные решения
- ^ «Евгений Густман» . Архивировано из оригинала 17 июня 2017 г. Проверено 21 октября 2008 г.
- ^ Ультра Хэл
- ^ Машина сражается с человеком на массовом тесте Тьюринга
- ^ параллельно-парные тесты Тьюринга
- ^ «Интернет-трансляция премии Лебнера 2012» . Архивировано из оригинала 18 мая 2012 года . Проверено 15 мая 2012 г.
- ^ «Чат-бот Роуз выиграл премию Лёбнера в области искусственного интеллекта в 2015 году» . Новости Би-би-си . Проверено 29 мая 2016 г. .
- ^ Jump up to: а б с д и ж г час я дж «Чат-бот Мицуку» .
- ^ https://www.guinnessworldrecords.com/world-records/603076-most-loebner-prize-wins
- ^ Лауреаты премии Лебнера , AISB — Общество изучения искусственного интеллекта и моделирования поведения.
- ^ « Машины, которые думают», 2 сезон, 5 серия . Научные американские границы . Производственная компания Чедд-Анжер. 1991–1992 гг. ПБС . Архивировано из оригинала 1 января 2006 г.
- ^ «Лёбнер» . 5 апреля 2017 г.
- ^ «Читайте о розетке, получившей премию Лебнера, — чат-боте Брюса Уилкокса» . Архивировано из оригинала 15 мая 2013 года . Проверено 29 октября 2011 г.
- ^ «Чип Вивант — Мохан Эмбар» .
Внешние ссылки
[ редактировать ]- Новый официальный сайт
- Бывший официальный сайт (не доступен)
- Маркофф, Джон (10 января 1993 г.). «Разговор на коктейльной вечеринке — с компьютером» . Нью-Йорк Таймс .
Разговор с победителем 1992 года; тема: мужчины и женщины
- Платт, Чарльз (апрель 1995 г.). «Что вообще значит быть человеком?» . Проводной .
- Шах, Хума (октябрь 2008 г.). «Премия Лебнера 2008: мифы и заблуждения» .
- Кристиан, Брайан (март 2011 г.). «Разум против машины» . Атлантика .
- Николич, Данко (13 июня 2019 г.). «Актуален ли тест Тьюринга? А как насчет времени Тьюринга?» . Середина .