Премия Лебнера
Премия Лебнера — это ежегодный конкурс в области искусственного интеллекта , в ходе которого присуждались компьютерные программы, которые судьи считали наиболее похожими на человека. Формат конкурса был стандартным тестом Тьюринга . В каждом раунде судья-человек одновременно вел текстовые беседы с компьютерной программой и человеком через компьютер. На основании ответов судья попытается определить, что есть что.
Конкурс был учрежден в 1990 году Хью Лебнером совместно с Кембриджским центром поведенческих исследований , Массачусетс , США . Начиная с 2014 года [1] оно было организовано AISB в Блетчли-парке . [2] Он также был связан с Университетом Флиндерс , Дартмутским колледжем , Музеем науки в Лондоне , Университетом Рединга и Ольстерским университетом , кампусом Маги , Дерри , британским городом культуры . В 2004 и 2005 годах он проходил в квартире Лебнера в Нью-Йорке . В области искусственного интеллекта премия Лебнера вызывает некоторые споры; Самый известный критик Марвин Мински назвал это рекламным ходом, который не помогает отрасли. [3]
Формат финального конкурса 2019 года изменился. Судейской коллегии не было. Вместо этого чат-боты оценивались публикой, и среди людей не должно было быть конкурентов. [4] Сообщается, что с 2020 года премия прекратила свое существование. [5]
Призы
[ редактировать ]Первоначально за самую человечную программу конкурса была присуждена 2000 долларов. Приз составил 3000 долларов в 2005 году и 2250 долларов в 2006 году. В 2008 году было присуждено 3000 долларов.
Кроме того, были вручены две разовые премии, которые так и не были вручены. 25 000 долларов предлагается за первую программу, которую судьи не смогут отличить от настоящего человека и которая сможет убедить судей в том, что человек — это компьютерная программа. 100 000 долларов — это награда за первую программу, которую судьи не смогут отличить от настоящего человека в тесте Тьюринга, включающем расшифровку и понимание текстовых, визуальных и слуховых данных. Конкурс планировалось завершить после достижения этого приза.
Правила и ограничения соревнований
[ редактировать ]Правила менялись с годами, и первые соревнования включали тесты Тьюринга с ограниченным разговором. [6] но с 1995 года обсуждение не было ограничено.
В трёх работах 2007 года: Роберт Медексза, Ноа Дункан и Ролло Карпентер . [7] Спонсор использовал некоторые основные «проверочные вопросы» для оценки состояния технологии. В их число входили простые вопросы о времени, о том, какой сейчас тур конкурса и т. д.; общие знания («Для чего нужен молоток?»); сравнения («Что быстрее, поезд или самолет?»); и вопросы, демонстрирующие запоминание предыдущих частей одного и того же разговора. «Все существительные, прилагательные и глаголы взяты из словаря, подходящего для детей и подростков в возрасте до 12 лет». Для того чтобы заявки были приняты, не обязательно было «разумно» отвечать на вопросы.
Впервые в 2008 году спонсор разрешил ввести предварительный этап конкурса, открыв конкурс для ранее запрещенных заявок через Интернет, которые будут оцениваться различными приглашенными исследователями. В имеющихся правилах не указано, как отбираются и инструктируются следователи. У следователей (судящих системы) время ограничено: 5 минут на одного субъекта в соревнованиях 2003 г., 20+ на пару в соревнованиях 2004–2007 гг., 5 минут на ведение одновременных разговоров с человеком и программой в 2008–2009 гг. увеличено до 25. минут одновременного разговора с 2010 года.
Критика
[ редактировать ]Премия уже давно пренебрегается экспертами в этой области. [8] по целому ряду причин.
Многие считают это пиар-ходом. [9] [10] Марвин Мински язвительно предложил «приз» тому, кто сможет остановить соревнование. Лебнер в ответ в шутку заметил, что предложение Минского приза за прекращение конкурса фактически сделало его соавтором. [11]
Правила соревнований поощряют неквалифицированных судей выносить поспешные решения. Взаимодействие между судьями и участниками изначально было очень кратким, например, фактически допрос длился 2,5 минуты, что позволяло задать лишь несколько вопросов. [9] Первоначально допрос ограничивался одной темой по выбору участника, например «причудливый разговор». [8] [12] домен, подходящий для стандартных трюков чат-бота. [13]
Участники конкурса не стремятся к пониманию или интеллекту, а прибегают к базовым приемам стиля ELIZA , [9] [14] и успешные участники обнаруживают, что обман и притворство вознаграждаются. [15]
Конкурсы
[ редактировать ]2006
[ редактировать ]В 2006 году конкурс организовали Тим Чайлд (генеральный директор Televirtual) и Хума Шах. [16] [17] 30 августа были объявлены четыре финалиста:
- Ролло Карпентер
- Ричард Черчилль и Мари-Клэр Дженкинс
- Ной Дункан
- Роберт Медексза
Конкурс прошел 17 сентября в VR-театре кампуса Торрингтон-Плейс Университетского колледжа Лондона . Университета Рединга кибернетики В состав судей входили профессор Кевин Уорвик , профессор искусственного интеллекта Джон Барнден (специалист по исследованиям метафор в Университете Бирмингема ), адвокат Виктория Батлер-Коул и журналист Грэм Дункан-Роу. С впечатлениями последнего о мероприятии можно ознакомиться в статье в Technology Review . [18] [19] Победителем стала «Джоан», основанная на Джабберваки , созданных Ролло Карпентером.
2007
[ редактировать ]Конкурс 2007 года прошел 21 октября в Нью-Йорке. Судьями были: профессор информатики Расс Эбботт, профессор философии Хартри Филд , доцент психологии Клейтон Кертис и преподаватель английского языка Скотт Хатчинс . [20]
Ни один бот не прошел тест Тьюринга, но судьи оценили трех участников следующим образом:
- 1-е место: Роберт Медексза, создатель Ultra Hal
- 2-е место: Ной Дункан, частная запись, создатель Клетуса.
- 3-е место: Ролло Карпентер из Icogno, создатель Jabberwacky.
Победитель получил 2250 долларов и ежегодную медаль. Участники, занявшие второе место, получили по 250 долларов каждый.
2008
[ редактировать ]Конкурс 2008 года был организован профессором Кевином Уорвиком при координации Хумы Шаха и прошел 12 октября в Университете Рединга, Великобритания . [21] После тестирования более ста судей на предварительном этапе в июне и июле 2008 года шесть финалистов были выбраны из тринадцати первоначальных искусственных разговорных объектов (ACE). В финале соревновались пятеро из приглашенных:
- Брат Джером, Питер Коул и Бенджи Адамс
- Элбот , Фред Робертс / Искусственные решения
- Eugene Goostman , Vladimir Veselov, Eugene Demchenko and Sergey Ulasen
- Джабберваки, Ролло Карпентер
- Ультра Хэл, Роберт Медексза
В финале каждому судье было дано пять минут на то, чтобы вести одновременный разговор на разделенном экране с двумя скрытыми существами. Элбот [22] искусственных решений [23] выиграл бронзовую награду премии Лебнера 2008 года за самое человекоподобное искусственное разговорное существо, обманув троих из двенадцати судей, допрашивавших его (в ходе параллельного сравнения людей и людей), заставив их поверить в то, что это человек. Это очень близко к 30%, которые традиционно требуются для того, чтобы считать, что программа действительно прошла тест Тьюринга. Юджин Густман [24] и Ультра Хэл [25] оба обманули одного судью, что это был человек.
Уилл Павиа, журналист The Times , написал о своем опыте; Судья финала Лебнера, его обманули Элбот и Юджин. [26] Кевин Уорвик и Хума Шах сообщили о параллельных парных тестах Тьюринга. [27]
2009
[ редактировать ]Конкурс на премию Лебнера 2009 года проводился 6 сентября 2009 года в Брайтон-центре , Брайтон, Великобритания, одновременно с конференцией Interspeech 2009. Сумма приза в 2009 году составила 3000 долларов США.
Участниками были Дэвид Леви , Ролло Карпентер и Мохан Эмбар, которые финишировали именно в таком порядке.
Писатель Брайан Кристиан участвовал в конкурсе на премию Лебнера 2009 года в качестве сообщника-человека и описал свой опыт участия в конкурсе в своей книге «Самый человечный человек» .
2010
[ редактировать ]Конкурс на премию Лебнера 2010 года состоялся 23 октября в Калифорнийском государственном университете в Лос-Анджелесе. Конкурс 2010 года стал 20-м по счету. Победителем стал Брюс Уилкокс с Сюзетт.
2011
[ редактировать ]Конкурс на премию Лебнера 2011 года состоялся 19 октября в Эксетерском университете , Девон , Великобритания. Сумма приза в 2011 году составила 4000 долларов США.
Четырьмя финалистами и их чат-ботами стали Брюс Уилкокс (Розетта), Адина Миньогна (Зои), Мохан Эмбар (Чип Вивант) и Рон Ли (Репетитор), которые финишировали именно в таком порядке.
В том же году в состав жюри вошли молодые судьи, а именно Джорджия-Мэй Линдфилд, Уильям Данн, Сэм Кит и Кирилл Джердев. Результаты юниорского конкурса заметно отличались от основного: первое место разделили чат-боты Tutor и Zoe, а третье и четвертое места соответственно заняли Chip Vivant и Rosette.
2012
[ редактировать ]Конкурс на премию Лебнера 2012 года проводился 15 мая в Блетчли-парке в Блетчли , Бакингемшир , Англия, в честь празднования столетия Алана Тьюринга . Сумма приза в 2012 году составила 5000 долларов США. Организатором местных аранжировок был Дэвид Леви, лауреат премии Лебнера в 1997 и 2009 годах.
Четырьмя финалистами и их чат-ботами стали Мохан Эмбар (Чип Вивант), Брюс Уилкокс (Анжела), Дэниел Берк (Адам), М. Аллан (Лингуо), которые финишировали именно в таком порядке.
В том же году команда факультета компьютерных наук Эксетерского университета (Эд Кидвелл, Макс Дюпенуа и Кент МакКлимонт) провела первую в истории прямую интернет-трансляцию бесед. [28]
2013
[ редактировать ]Конкурс на премию Лебнера 2013 года проводился, единственный раз на острове Ирландия , 14 сентября в Ольстерском университете , колледже Маги , Дерри , Северная Ирландия , Великобритания.
Четырьмя финалистами и их чат-ботами стали Стив Уорсвик (Мицуку), доктор Рон С. Ли (репетитор), Брюс Уилкокс (Роуз) и Брайан Ригсби (Изар), которые финишировали именно в таком порядке.
Судьями были профессор Роджер Шанк (сократическое искусство), профессор Ноэль Шарки ( Шеффилдский университет ), профессор Минхуа (Юнис) Ма ( Университет Хаддерсфилда , затем Университет Глазго ). и профессор Майк Мактир ( Университет Ольстера ).
На конкурсе Junior Loebner Prize 2013 чат-боты Мицуку и Тьютор разделили первое место, а Роуз и Изар заняли 3-е и 4-е места соответственно.
2014
[ редактировать ]Конкурс на премию Лебнера 2014 года проходил в Блетчли-парке, Англия, в субботу, 15 ноября 2014 года. Мероприятие было снято в прямом эфире Sky News. Приглашенным судьей стал телеведущий и телеведущий Джеймс Мэй.
После двух часов судейства победителем была признана «Роза» Брюса Уилкокса. Брюс получит чек на 4000 долларов и бронзовую медаль. Ранги были следующими:
Роуз — 1 место (4000 долларов и бронзовая медаль); Изар — 2,25 ранг (1500$); Убербот — Ранг 3,25 (1000$); и Мицуку — ранг 3,5 (500 долларов).
Судьями были доктор Ян Хокинг, писатель и старший преподаватель психологии Колледжа Крайст-Черч, Кентербери; д-р Гита Куадри-Мостефауи, преподаватель компьютерных наук и технологий Бедфордширского университета; г-н Джеймс Мэй, телеведущий и телеведущий; и Доктор Пол Сант, декан UCMK Бедфордширского университета.
2015
[ редактировать ]Конкурс на премию Лебнера 2015 года снова выиграла «Роза» Брюса Уилкокса. [29]
Судьями были Джейкоб Аарон, репортер журнала New Scientist по физике; Рори Селлан-Джонс, корреспондент BBC по технологиям; Бретт Марти, кинорежиссер и фотограф; Ариадна Тампион, писательница.
2016
[ редактировать ]Премия Лебнера 2016 года прошла в Блетчли-парке 17 сентября 2016 года. После двух часов судейства были объявлены окончательные результаты. Ранги были следующими:
2017
[ редактировать ]Премия Лёбнера 2017 года была проведена в Блетчли-парке 16 сентября 2017 года. Это был первый конкурс, в котором использовалось новое сообщение по протоколу сообщения, а не традиционное по одному символу за раз. Ранги были следующими и были объявлены Nao_(роботом) :
2018
[ редактировать ]Премия Лебнера 2018 года проводилась в Блетчли-парке 8 сентября 2018 года. Это был последний раз, когда она проводилась в традиционном формате теста Тьюринга, и последний раз в Блетчли-парке. Ранги были следующими:
2019
[ редактировать ]Премия Лебнера 2019 года проходила в Университете Суонси с 12 по 15 сентября в рамках более крупной выставки, посвященной творчеству компьютеров. Формат конкурса изменился с традиционного теста Тьюринга с избранными судьями и людьми на четырехдневную сессию тестирования, где представители широкой публики, включая школьников, могли взаимодействовать с ботами, заранее зная, что боты не люди. . Вместо обычных 4-х финалистов приняли участие семнадцать ботов. Стив Уорсвик в рекордный 5-й раз одержал победу с Мицуку, что позволило ему попасть в Книгу рекордов Гиннеса. [31]
Избранное жюри из судей также рассмотрело и проголосовало за те, которые им понравились больше всего. Ранги были следующими:
Самый человекоподобный чат-бот:
Лучший чат-бот в целом
Победители
[ редактировать ]Официальный список победителей. [32]
| Год | Победитель | Программа |
|---|---|---|
| 1991 | Джозеф Вайнтрауб | «Причудливый разговор» [33] ( ПК-терапевт ) [34] |
| 1992 | Джозеф Вайнтрауб | ПК-терапевт |
| 1993 | Джозеф Вайнтрауб | ПК-терапевт |
| 1994 | Томас Уэлен | СОВЕТЫ |
| 1995 | Джозеф Вайнтрауб | ПК-терапевт |
| 1996 | Джейсон Хатченс | HeX |
| 1997 | Дэвид Леви | Конверсы |
| 1998 | Робби Гарнер | Альберт Один |
| 1999 | Робби Гарнер | Альберт Один |
| 2000 | Ричард Уоллес | Искусственный лингвистический Интернет-компьютерный объект (ALICE) |
| 2001 | Ричард Уоллес | Искусственный лингвистический Интернет-компьютерный объект (ALICE) |
| 2002 | Кевин Коппл | Она |
| 2003 | Юрген Пирнер | Бармаглот |
| 2004 | Ричард Уоллес | Искусственный лингвистический Интернет-компьютерный объект (ALICE) |
| 2005 | Ролло Карпентер | Джордж (Джабберваки) |
| 2006 | Ролло Карпентер | Джоан (Джабберваки) |
| 2007 | Роберт Медексза | Ультра Хэл |
| 2008 | Фред Робертс | Элбот |
| 2009 | Дэвид Леви | Делай гораздо больше |
| 2010 | Брюс Уилкокс | Сюзетта |
| 2011 | Брюс Уилкокс | Розетка [35] |
| 2012 | Мохан Эмбар | Чип жив [36] |
| 2013 | Стив Уорсвик | Мицуку [30] |
| 2014 | Брюс Уилкокс | Роза |
| 2015 | Брюс Уилкокс | Роза |
| 2016 | Стив Уорсвик | Мицуку [30] |
| 2017 | Стив Уорсвик | Мицуку [30] |
| 2018 | Стив Уорсвик | Мицуку [30] |
| 2019 | Стив Уорсвик | Мицуку [30] |
См. также
[ редактировать ]- Список наград в области информатики
- Искусственный интеллект
- Глоссарий искусственного интеллекта
- Робот
- Общий искусственный интеллект
- Эффект Конфедерации
- Компьютерный игровой бот «Тест Тьюринга»
Ссылки
[ редактировать ]- ↑ Премия Лебнера, соревнование по тесту Тьюринга в Блетчли-парке — блог Эксетера , дата обращения 8 декабря 2014 г.
- ^ Премия Лёбнера , веб-сайт AISB , дата обращения 23 января 2018 г.
- ↑ Искусственная глупость , Salon.com , 16 февраля 2003 г.
- ^ Уэйкфилд, Джейн (14 сентября 2019 г.). «Любители, увлеченные своим хобби, соревнуются за то, чтобы сделать ИИ человеком» . Новости Би-би-си . Проверено 23 июля 2020 г.
- ^ Уэйкфилд, Джейн (1 ноября 2020 г.). «Роботы-зануды: неловкое первое свидание с помощью искусственного интеллекта» . Новости Би-би-си . Проверено 22 сентября 2021 г.
- ^ « Машины, которые думают», 4 сезон, 3 серия» . Научные американские границы . Производственная компания Чедд-Анжер. 1993–1994 гг. ПБС . Архивировано из оригинала 1 января 2006 г.
- ↑ 17-я ежегодная премия Лебнера в области искусственного интеллекта, 21 октября 2007 г., Нью-Йорк.
- ^ Перейти обратно: а б Пауэрс, Дэвид (1998). «Полный тест Тьюринга и премия Лебнера» . Проверено 29 мая 2016 г.
- ^ Перейти обратно: а б с Флориди, Лучано; Таддео, Мариаросария; Турилли, Маттео (2009). «Имитационная игра Тьюринга: все еще невыполнимая задача для всех машин и некоторых судей - оценка конкурса Лёбнера 2008 года». Разум и машины . 19 (19): 145–150. CiteSeerX 10.1.1.672.7417 . дои : 10.1007/s11023-008-9130-6 . S2CID 7888490 .
- ^ Сундман, Джон (27 февраля 2003 г.). «Искусственная глупость» . Салон . Архивировано из оригинала 20 июля 2012 г. Проверено 29 мая 2016 г.
- ^ Мински, Марвин. «Объявление об отзыве премии Мински Лебнера за 1995 год» . Проверено 29 мая 2016 г.
- ^ Шибер, Стюарт М. (1993). «Уроки ограниченного теста Тьюринга» . Проверено 2 апреля 2024 г.
- ^ Фишер, Ричард (16 мая 2012 г.). «Чат-ботам не удается убедить, несмотря на получение премии Лебнера» . Новый учёный . Проверено 29 мая 2016 г.
- ^ Серк, ЗЛинда. «Может ли компьютер думать?» . Би-би-си . Проверено 29 мая 2016 г.
- ^ Стивенс, Кеннет Р. «Что конкурс Лебнера рассказал нам о коммуникативных системах?» (PDF) . www.behavior.org . Оперантные веб-сайты, Inc. Проверено 29 мая 2016 г.
- ^ Информация о премии Лебнера 2006 г.
- ^ Лобнер 2006
- ^ Как быть человеком , Обзор технологий , 20 сентября 2006 г.
- ^ Премия Лебнера , loebner.net
- ^ 17-я ежегодная премия Лебнера в области искусственного интеллекта , loebner.net
- ^ 18-я ежегодная премия Лебнера в области искусственного интеллекта, 12 октября 2008 г., Университет Рединга, Ридинг, Великобритания
- ^ «Робот Элбот» . www.elbot.com . Архивировано из оригинала 4 января 2015 г. Проверено 12 февраля 2023 г.
- ^ Искусственные решения
- ^ «Евгений Густман» . Архивировано из оригинала 17 июня 2017 г. Проверено 21 октября 2008 г.
- ^ Ультра Хэл
- ^ Машина сражается с человеком на массовом тесте Тьюринга
- ^ параллельно-парные тесты Тьюринга
- ^ «Интернет-трансляция премии Лебнера 2012» . Архивировано из оригинала 18 мая 2012 года . Проверено 15 мая 2012 г.
- ^ «Чат-бот Роуз выиграл премию Лёбнера в области искусственного интеллекта в 2015 году» . Новости Би-би-си . Проверено 29 мая 2016 г.
- ^ Перейти обратно: а б с д и ж г час я дж «Чат-бот Мицуку» .
- ^ https://www.guinnessworldrecords.com/world-records/603076-most-loebner-prize-wins
- ^ Лауреаты премии Лебнера , AISB — Общество изучения искусственного интеллекта и моделирования поведения
- ^ « Машины, которые думают», 2 сезон, 5 серия . Научные американские границы . Производственная компания Чедд-Анжер. 1991–1992 гг. ПБС . Архивировано из оригинала 1 января 2006 г.
- ^ «Лёбнер» . 5 апреля 2017 г.
- ^ «Читайте о розетке, получившей премию Лебнера, — чат-боте Брюса Уилкокса» . Архивировано из оригинала 15 мая 2013 года . Проверено 29 октября 2011 г.
- ^ «Чип Вивант — Мохан Эмбар» .
Внешние ссылки
[ редактировать ]- Новый официальный сайт
- Бывший официальный сайт (не доступен)
- Маркофф, Джон (10 января 1993 г.). «Разговор на коктейльной вечеринке — с компьютером» . Нью-Йорк Таймс .
Разговор с победителем 1992 года; тема: мужчины и женщины
- Платт, Чарльз (апрель 1995 г.). «Что вообще значит быть человеком?» . Проводной .
- Шах, Хума (октябрь 2008 г.). «Премия Лебнера 2008: мифы и заблуждения» .
- Кристиан, Брайан (март 2011 г.). «Разум против машины» . Атлантика .
- Николич, Данко (13 июня 2019 г.). «Актуален ли тест Тьюринга? А как насчет времени Тьюринга?» . Середина .