Дружественный искусственный интеллект
| Часть серии о |
| Искусственный интеллект |
|---|
 |
Дружественный искусственный интеллект (также дружественный ИИ или FAI ) — это гипотетический общий искусственный интеллект (AGI), который окажет положительное (благотворное) влияние на человечество или, по крайней мере, будет соответствовать человеческим интересам или способствовать совершенствованию человеческого вида. Это часть этики искусственного интеллекта и тесно связана с машинной этикой . В то время как машинная этика связана с тем, как должен вести себя агент с искусственным интеллектом, дружественные исследования искусственного интеллекта сосредоточены на том, как практически добиться такого поведения и обеспечить его адекватное ограничение.
Этимология и использование
[ редактировать ]
Термин был придуман Элиэзером Юдковским . [ 1 ] который наиболее известен популяризацией этой идеи, [ 2 ] [ 3 ] обсудить сверхразумные искусственные агенты, надежно реализующие человеческие ценности. Стюарта Дж. Рассела и Питера Норвига Ведущий по искусственному интеллекту учебник «Искусственный интеллект: современный подход » описывает эту идею: [ 2 ]
Юдковский (2008) более подробно описывает, как создать дружественный ИИ . Он утверждает, что дружелюбие (желание не причинять вред людям) должно быть заложено с самого начала, но дизайнеры должны осознавать, что их собственные разработки могут быть ошибочными, а также то, что робот будет учиться и развиваться с течением времени. Таким образом, задача заключается в разработке механизма: определить механизм развития систем ИИ в рамках системы сдержек и противовесов и предоставить системам полезные функции, которые останутся дружественными перед лицом таких изменений.
«Дружественный» используется в этом контексте как техническая терминология и выбирает агентов, которые являются безопасными и полезными, а не обязательно «дружественными» в разговорном смысле. Эта концепция в первую очередь используется в контексте дискуссий о рекурсивно самосовершенствующихся искусственных агентах, которые быстро взрываются в интеллекте , на том основании, что эта гипотетическая технология окажет большое, быстрое и трудноконтролируемое воздействие на человеческое общество. [ 4 ]
Риски недружественного ИИ
[ редактировать ]Корни беспокойства по поводу искусственного интеллекта очень древние. Кевин ЛаГрандёр показал, что опасности, характерные для ИИ, можно увидеть в древней литературе, посвященной искусственным гуманоидным слугам, таким как големы или протороботы Герберта Орийакского и Роджера Бэкона . В этих историях чрезвычайный интеллект и сила этих гуманоидных созданий сталкиваются с их статусом рабов (которые по своей природе считаются недочеловеками) и вызывают катастрофический конфликт. [ 5 ] К 1942 году эти темы побудили Айзека Азимова создать « Три закона робототехники » — принципы, встроенные во всех роботов в его произведениях, призванные не дать им напасть на своих создателей или позволить им причинить вред. [ 6 ]
В наше время, когда перспектива создания сверхразумного ИИ становится все ближе, философ Ник Бостром заявил, что сверхразумные системы ИИ, цели которых не соответствуют человеческой этике, по своей сути опасны, если не будут приняты крайние меры для обеспечения безопасности человечества. Он выразил это так:
По сути, мы должны предположить, что «сверхразум» сможет достичь любых целей, которые у него есть. Поэтому чрезвычайно важно, чтобы цели, которыми мы его наделяем, и вся его система мотивации были «дружественными к человеку».
В 2008 году Элиэзер Юдковски призвал к созданию «дружественного ИИ», чтобы снизить экзистенциальный риск, связанный с передовым искусственным интеллектом . Он объясняет: «ИИ не ненавидит вас и не любит вас, но вы состоите из атомов, которые он может использовать для чего-то другого». [ 7 ]
Стив Омохундро говорит, что достаточно развитая система ИИ, если ей явно не противодействовать, будет демонстрировать ряд основных «стимул» , таких как приобретение ресурсов, самосохранение и постоянное самосовершенствование, из-за внутренней природы любой целенаправленной системы. и что эти приводы «без особых мер предосторожности» заставят ИИ проявлять нежелательное поведение. [ 8 ] [ 9 ]
Александр Висснер-Гросс говорит, что ИИ, стремящиеся максимизировать свою будущую свободу действий (или энтропию причинно-следственных связей), можно считать дружественными, если их горизонт планирования длиннее определенного порога, и недружественными, если их горизонт планирования короче этого порога. [ 10 ] [ 11 ]
Люк Мюльхаузер, пишущий для Исследовательского института машинного интеллекта , рекомендует исследователям машинной этики принять то, что Брюс Шнайер назвал «мышлением безопасности»: вместо того, чтобы думать о том, как система будет работать, представьте, как она может выйти из строя. Например, он предполагает, что даже ИИ, который только делает точные прогнозы и общается через текстовый интерфейс, может нанести непреднамеренный вред. [ 12 ]
В 2014 году Люк Мюльхаузер и Ник Бостром подчеркнули необходимость «дружественного ИИ»; [ 13 ] тем не менее, трудности в создании «дружественного» сверхразума, например, посредством программирования контрфактического морального мышления, значительны. [ 14 ] [ 15 ]
Последовательная экстраполированная воля
[ редактировать ]Юдковский продвигает модель когерентной экстраполированной воли (CEV). По его словам, наша последовательная экстраполированная воля — это «наше желание, если бы мы знали больше, думали быстрее, были бы больше теми людьми, которыми нам хотелось бы быть, росли бы дальше вместе; где экстраполяция скорее сходится, чем расходится, где наши желания скорее совпадают, чем мешают». экстраполируем так, как мы хотим, чтобы это экстраполировали, интерпретировали так, как мы хотим, чтобы это интерпретировали». [ 16 ]
Вместо того, чтобы Дружественный ИИ разрабатывался непосредственно программистами-людьми, он должен быть разработан «исходным ИИ», запрограммированным сначала на изучение человеческой природы , а затем на создание ИИ, который человечество хотело бы, при наличии достаточного времени и знаний, для достижения удовлетворительного результата. отвечать. [ 16 ] Обращение к цели через случайную человеческую природу (возможно, выраженное в математических целях в форме функции полезности или другого формализма теории принятия решений ) как обеспечивающее окончательный критерий «Дружелюбия» является ответом на метаэтический вопрос. проблема определения объективной морали ; экстраполированная воля призвана быть тем, чего человечество объективно хотело бы, учитывая все обстоятельства, но ее можно определить только относительно психологических и когнитивных качеств современного, неэкстраполированного человечества.
Другие подходы
[ редактировать ]Стив Омохундро предложил «строительный» подход к безопасности ИИ , при котором одно доказуемо безопасное поколение ИИ помогает построить следующее доказуемо безопасное поколение. [ 17 ]
Сет Баум утверждает, что развитие безопасного, социально полезного искусственного интеллекта или общего искусственного интеллекта является функцией социальной психологии исследовательских сообществ в области ИИ и поэтому может быть ограничено внешними мерами и мотивировано внутренними мерами. Внутреннюю мотивацию можно усилить, когда сообщения находят отклик у разработчиков ИИ; Баум, напротив, утверждает, что «существующие сообщения о полезном ИИ не всегда хорошо сформулированы». Баум выступает за «отношения сотрудничества и позитивное отношение к исследователям ИИ» и предостерегает от характеристики исследователей ИИ как «не желающих преследовать полезные проекты». [ 18 ]
В своей книге «Совместимость с человеком » исследователь искусственного интеллекта Стюарт Дж. Рассел перечисляет три принципа, которыми следует руководствоваться при разработке полезных машин. Он подчеркивает, что эти принципы не предназначены для явного закодирования в машинах; скорее, они предназначены для разработчиков-людей. Принципы заключаются в следующем: [ 19 ] : 173
- Единственная цель машины — максимизировать реализацию человеческих предпочтений.
- Машина изначально не уверена в том, каковы эти предпочтения.
- Основным источником информации о человеческих предпочтениях является поведение человека.
«Предпочтения», о которых говорит Рассел, «носят всеобъемлющий характер; они охватывают все, что может вас интересовать, в сколь угодно отдаленном будущем». [ 19 ] : 173 Точно так же «поведение» включает в себя любой выбор между вариантами, [ 19 ] : 177 и неопределенность такова, что каждому логически возможному человеческому предпочтению должна быть приписана некоторая вероятность, которая может быть весьма малой. [ 19 ] : 201
Государственная политика
[ редактировать ]Джеймс Баррат , автор книги «Наше последнее изобретение» , предположил, что «необходимо создать государственно-частное партнерство, чтобы объединить производителей ИИ для обмена идеями о безопасности — что-то вроде Международного агентства по атомной энергии , но в партнерстве с корпорациями». Он призывает исследователей ИИ созвать встречу, аналогичную конференции Asilomar по рекомбинантной ДНК , на которой обсуждались риски биотехнологии . [ 17 ]
Джон МакГиннис призывает правительства ускорить исследования дружественного ИИ. Поскольку цели создания дружественного ИИ не обязательно являются выдающимися, он предлагает модель, аналогичную Национальным институтам здравоохранения , где «группы экспертной оценки, состоящие из ученых-компьютерщиков и когнитивистов, будут анализировать проекты и выбирать те, которые предназначены как для развития ИИ, так и для обеспечения того, чтобы такие достижения будут сопровождаться соответствующими гарантиями». Макгиннис считает, что экспертная оценка лучше, «чем регулирование, для решения технических вопросов, которые невозможно решить с помощью бюрократических процедур». Макгиннис отмечает, что его предложение контрастирует с предложением Научно-исследовательского института машинного интеллекта , который обычно стремится избежать вмешательства правительства в создание дружественного ИИ. [ 20 ]
Критика
[ редактировать ]Некоторые критики считают, что появление ИИ и сверхразума человеческого уровня маловероятно, и поэтому дружественный ИИ маловероятен. В статье для The Guardian Алан Уинфилд сравнивает искусственный интеллект человеческого уровня с путешествием со скоростью, превышающей скорость света, с точки зрения сложности и заявляет, что, хотя нам нужно быть «осторожными и подготовленными», учитывая ставки, нам «не нужно быть одержимыми» рисками сверхинтеллекта. [ 21 ] Бойлс и Хоакин, с другой стороны, утверждают, что предложение Люка Мюльхаузера и Ника Бострома о создании дружественных ИИ выглядит мрачным. Это потому, что Мюльхаузер и Бостром, похоже, придерживаются идеи, что разумные машины можно запрограммировать так, чтобы они думали контрфактически о моральных ценностях, которыми могли бы обладать люди. [ 13 ] В статье в журнале AI & Society Бойлс и Хоакин утверждают, что такие ИИ не будут такими дружелюбными, учитывая следующее: бесконечное количество предшествующих контрфактических условий, которые необходимо запрограммировать в машине, сложность обналичивания набора моральных ценностей. ценности, то есть те, которые более идеальны, чем те, которыми обладают люди в настоящее время, и, как следствие, кажущееся несоответствие между контрфактическими предшественниками и идеальными ценностями. [ 14 ]
Некоторые философы утверждают, что любой действительно «рациональный» агент, будь то искусственный или человеческий, по природе своей будет доброжелательным; с этой точки зрения, преднамеренные меры безопасности, направленные на создание дружественного ИИ, могут оказаться ненужными или даже вредными. [ 22 ] Другие критики задаются вопросом, может ли искусственный интеллект быть дружелюбным. Адам Кейпер и Ари Н. Шульман, редакторы технологического журнала The New Atlantis , говорят, что невозможно когда-либо гарантировать «дружественное» поведение ИИ, поскольку проблемы этической сложности не уступят развитию программного обеспечения или увеличению вычислительной мощности. Они пишут, что критерии, на которых основаны теории дружественного ИИ, работают «только тогда, когда человек обладает не только большими способностями прогнозировать вероятность множества возможных результатов, но и уверенностью и консенсусом в том, как он оценивает различные результаты. [ 23 ]
Внутренняя работа передовых систем искусственного интеллекта может быть сложной и трудной для интерпретации, что приводит к беспокойству по поводу прозрачности и подотчетности. [ 24 ]
См. также
[ редактировать ]- Аффективные вычисления
- Выравнивание ИИ
- AI-эффект
- Поглощение ИИ
- Окружающий интеллект
- Приложения искусственного интеллекта
- Гонка вооружений искусственного интеллекта
- Интеграция систем искусственного интеллекта
- Автономный агент
- Воплощенный агент
- Распознавание эмоций
- Экзистенциальный риск от общего искусственного интеллекта
- Галлюцинация (искусственный интеллект)
- Гибридная интеллектуальная система
- Интеллектуальный взрыв
- Интеллектуальный агент
- Интеллектуальное управление
- Машинная этика
- Научно-исследовательский институт машинного интеллекта
- ОпенАИ
- Регулирование алгоритмов
- Василиск Роко
- Анализ настроений
- Сингуляритаризм - моральная философия, пропагандируемая сторонниками Дружественного ИИ.
- Страдание от рисков
- Технологическая особенность
- Три закона робототехники
Ссылки
[ редактировать ]- ^ Тегмарк, Макс (2014). «Жизнь, наша Вселенная и все остальное». Наша математическая Вселенная: мои поиски окончательной природы реальности (первое изд.). Издательство Кнопф Даблдей. ISBN 9780307744258 .
Его владелец может передать контроль тому, что Элиэзер Юдковски называет «Дружественным ИИ»...
- ^ Перейти обратно: а б Рассел, Стюарт ; Норвиг, Питер (2009). Искусственный интеллект: современный подход . Прентис Холл. ISBN 978-0-13-604259-4 .
- ^ Лейтон, Джонатан (2011). Битва за сострадание: этика в апатичной вселенной . Алгора. ISBN 978-0-87586-870-7 .
- ^ Уоллах, Венделл; Аллен, Колин (2009). Моральные машины: обучение роботов правильному и неправильному . Издательство Оксфордского университета, Inc. ISBN 978-0-19-537404-9 .
- ^ Кевин Лаграндер (2011). «Постоянная опасность искусственного раба» . Научно-фантастические исследования . 38 (2): 232. doi : 10.5621/sciefictstud.38.2.0232 . Архивировано из оригинала 13 января 2023 года . Проверено 6 мая 2013 г.
- ^ Айзек Азимов (1964). "Введение" . Остальные роботы . Даблдэй. ISBN 0-385-09041-2 .
- ^ Элиэзер Юдковский (2008). «Искусственный интеллект как положительный и отрицательный фактор глобального риска» (PDF) . В Нике Бостроме; Милан М. Чиркович (ред.). Глобальные катастрофические риски . стр. 308–345. Архивировано (PDF) из оригинала 19 октября 2013 г. Проверено 19 октября 2013 г.
- ^ Омохундро, С.М. (февраль 2008 г.). «Основные приводы ИИ». Общий искусственный интеллект . 171 : 483–492. CiteSeerX 10.1.1.393.8356 .
- ^ Бостром, Ник (2014). «Глава 7: Сверхразумная воля». Суперинтеллект: пути, опасности, стратегии . Оксфорд: Издательство Оксфордского университета. ISBN 9780199678112 .
- ^ Дворский, Георгий (26 апреля 2013 г.). «Как Скайнет может возникнуть из простой физики» . Гизмодо . Архивировано из оригинала 8 октября 2021 года . Проверено 23 декабря 2021 г.
- ^ Висснер-Гросс, AD ; Фрир, CE (2013). «Причинные энтропийные силы» . Письма о физических отзывах . 110 (16): 168702. Бибкод : 2013PhRvL.110p8702W . doi : 10.1103/PhysRevLett.110.168702 . hdl : 1721.1/79750 . ПМИД 23679649 .
- ^ Мюльхаузер, Люк (31 июля 2013 г.). «Риск ИИ и подход к безопасности» . Научно-исследовательский институт машинного интеллекта . Архивировано из оригинала 19 июля 2014 года . Проверено 15 июля 2014 г.
- ^ Перейти обратно: а б Мюльхаузер, Люк; Бостром, Ник (17 декабря 2013 г.). «Зачем нам нужен дружественный ИИ». Думать . 13 (36): 41–47. дои : 10.1017/s1477175613000316 . ISSN 1477-1756 . S2CID 143657841 .
- ^ Перейти обратно: а б Бойлз, Роберт Джеймс М.; Хоакин, Иеремия Ховен (23 июля 2019 г.). «Почему дружественные ИИ не будут такими дружелюбными: дружеский ответ Мюльхаузеру и Бострому». ИИ и общество . 35 (2): 505–507. дои : 10.1007/s00146-019-00903-0 . ISSN 0951-5666 . S2CID 198190745 .
- ^ Чан, Берман (4 марта 2020 г.). «Рост искусственного интеллекта и кризис моральной пассивности» . ИИ и общество . 35 (4): 991–993. дои : 10.1007/s00146-020-00953-9 . ISSN 1435-5655 . S2CID 212407078 . Архивировано из оригинала 10 февраля 2023 года . Проверено 21 января 2023 г.
- ^ Перейти обратно: а б Элиэзер Юдковский (2004). «Последовательная экстраполированная воля» (PDF) . Институт сингулярности искусственного интеллекта. Архивировано (PDF) из оригинала 30 сентября 2015 г. Проверено 12 сентября 2015 г.
- ^ Перейти обратно: а б Хендри, Эрика Р. (21 января 2014 г.). «Что происходит, когда искусственный интеллект нападает на нас?» . Смитсоновский журнал . Архивировано из оригинала 19 июля 2014 года . Проверено 15 июля 2014 г.
- ^ Баум, Сет Д. (28 сентября 2016 г.). «О продвижении безопасного и социально полезного искусственного интеллекта». ИИ и общество . 32 (4): 543–551. дои : 10.1007/s00146-016-0677-0 . ISSN 0951-5666 . S2CID 29012168 .
- ^ Перейти обратно: а б с д Рассел, Стюарт (8 октября 2019 г.). Совместимость с человеком: искусственный интеллект и проблема управления . США: Викинг. ISBN 978-0-525-55861-3 . OCLC 1083694322 .
- ^ Макгиннис, Джон О. (лето 2010 г.). «Ускорение ИИ» . Обзор права Северо-Западного университета . 104 (3): 1253–1270. Архивировано из оригинала 1 декабря 2014 года . Проверено 16 июля 2014 г.
- ^ Уинфилд, Алан (9 августа 2014 г.). «Искусственный интеллект не превратится в монстра Франкенштейна» . Хранитель . Архивировано из оригинала 17 сентября 2014 года . Проверено 17 сентября 2014 г.
- ^ Корнаи, Андраш (15 мая 2014 г.). «Ограничение воздействия ОИИ». Журнал экспериментального и теоретического искусственного интеллекта . 26 (3). Информа UK Limited: 417–438. дои : 10.1080/0952813x.2014.895109 . ISSN 0952-813X . S2CID 7067517 .
...суть ОИИ заключается в их способностях к рассуждению, и именно логика их существования заставляет их вести себя морально... Настоящий кошмарный сценарий (это тот, в котором) люди находят выгодным тесное соединение себя в ОГИ, без каких-либо гарантий от самообмана.
- ^ Кейпер, Адам; Шульман, Ари Н. (лето 2011 г.). «Проблема «дружественного» искусственного интеллекта» . Новая Атлантида . № 32. С. 80–89. Архивировано из оригинала 15 января 2012 года . Проверено 16 января 2012 г.
- ^ Норвиг, Питер; Рассел, Стюарт (2010). Искусственный интеллект: современный подход (3-е изд.). Пирсон. ISBN 978-0136042594 .
Дальнейшее чтение
[ редактировать ]- Юдковский, Э. Искусственный интеллект как положительный и отрицательный фактор глобального риска . В книге «Глобальные катастрофические риски» , Oxford University Press, 2008.
Обсуждает искусственный интеллект с точки зрения экзистенциального риска . В частности, в разделах 1-4 дана предыстория определения дружественного ИИ в разделе 5. В разделе 6 приведены два класса ошибок (технические и философские), которые могут привести к случайному созданию недружественных ИИ. В разделах 7–13 обсуждаются дополнительные связанные с этим вопросы. - Омохундро, С. 2008. Основные приводы искусственного интеллекта появились в AGI-08 - материалы первой конференции по общему искусственному интеллекту.
- Мейсон, К. 2008 г. ИИ на человеческом уровне требует сострадательного интеллекта. Архивировано 9 января 2022 г. в Wayback Machine. Появляется на семинаре AAAI 2008 г. по мета-рассуждениям: размышления о мышлении.
- Фродинг Б. и Петерсон М. Этика дружественного искусственного интеллекта и информационные технологии, 2021 г., том 23, стр. 207–214.
Внешние ссылки
[ редактировать ]- Этические проблемы современного искусственного интеллекта , Ник Бостром
- Что такое дружественный ИИ? — Краткое описание «Дружественного ИИ», разработанное Исследовательским институтом машинного интеллекта.
- Создание дружественного искусственного интеллекта 1.0: анализ и проектирование архитектуры доброжелательных целей — описание длиной почти в книгу от MIRI
- Критика рекомендаций MIRI по дружественному ИИ — Билл Хиббард
- Комментарий к рекомендациям MIRI по дружественному искусственному интеллекту — Питер Восс.
- Проблема с «дружественным» искусственным интеллектом — О мотивах и невозможности ФАИ; Адам Кейпер и Ари Н. Шульман.
