Совместимость с человеком
 Издание в твердом переплете | |
| Автор | Стюарт Дж. Рассел |
|---|---|
| Язык | Английский |
| Предмет | Проблема с управлением ИИ |
| Жанр | Научная литература |
| Издатель | Викинг |
Дата публикации | 8 октября 2019 г. |
| Место публикации | Соединенные Штаты |
| Страницы | 352 |
| ISBN | 978-0-525-55861-3 |
| ОКЛК | 1083694322 |
«Совместимость с человеком: искусственный интеллект и проблема контроля» — научно-популярная книга ученого-компьютерщика Стюарта Дж. Рассела , вышедшая в 2019 году . В нем утверждается, что риск для человечества, связанный с передовым искусственным интеллектом (ИИ), вызывает серьезную обеспокоенность, несмотря на неопределенность, связанную с будущим прогрессом в области ИИ. Также предлагается подход к проблеме управления ИИ .
Резюме [ править ]
Рассел начинает с утверждения, что стандартная модель исследований ИИ, в которой основным определением успеха является все лучшее и лучшее достижение жестких целей, поставленных человеком, опасно ошибочна. Такие цели могут не отражать того, что задумали создатели людей, например, из-за неспособности принять во внимание какие-либо человеческие ценности, не включенные в цели. Если бы ИИ, разработанный в соответствии со стандартной моделью, стал сверхразумным , он, скорее всего, не полностью отражал бы человеческие ценности и мог бы иметь катастрофические последствия для человечества. Рассел утверждает, что именно потому, что сроки разработки искусственного интеллекта человеческого уровня или сверхразума крайне неопределенны, исследования безопасности следует начинать как можно скорее, поскольку также крайне неопределенно, сколько времени потребуется для завершения таких исследований.
Рассел утверждает, что продолжающийся прогресс в области искусственного интеллекта неизбежен из-за экономического давления. Такое давление уже можно увидеть в разработке существующих технологий искусственного интеллекта, таких как беспилотные автомобили и программное обеспечение для персональных помощников . Более того, ИИ человеческого уровня может стоить многие триллионы долларов. Затем Рассел исследует текущие дебаты вокруг рисков ИИ. Он предлагает опровержение ряда распространенных аргументов, отвергающих риск ИИ, и объясняет большую часть их настойчивости трайбализмом: исследователи ИИ могут рассматривать проблемы риска ИИ как «нападку» на свою область. Рассел повторяет, что существуют законные причины серьезно относиться к проблемам рисков ИИ и что экономическое давление делает неизбежным продолжение инноваций в области ИИ.
Затем Рассел предлагает подход к разработке доказуемо полезных машин, ориентированный на уважение к людям. В отличие от стандартной модели ИИ, где цель является жесткой и определенной, при этом подходе истинная цель ИИ остается неопределенной, при этом ИИ приближается к уверенности только по мере того, как он получает больше информации о людях и мире. Эта неопределенность в идеале предотвратила бы катастрофическое непонимание человеческих предпочтений и способствовала бы сотрудничеству и общению с людьми. В заключение Рассел призывает к более жесткому управлению исследованиями и разработками в области ИИ, а также к культурному самоанализу относительно необходимого уровня автономии, который следует сохранить в мире, где доминирует ИИ.
Три принципа Рассела [ править ]
Рассел перечисляет три принципа, которыми следует руководствоваться при разработке полезных машин. Он подчеркивает, что эти принципы не предназначены для явного закодирования в машинах; скорее, они предназначены для разработчиков-людей. Принципы заключаются в следующем: [1] : 173
1. Единственная цель машины — максимизировать реализацию человеческих предпочтений.
2. Машина изначально не уверена в том, каковы эти предпочтения.
3. Основным источником информации о предпочтениях человека является поведение человека.
«Предпочтения», о которых говорит Рассел, «носят всеобъемлющий характер; они охватывают все, что может вас интересовать, в сколь угодно отдаленном будущем». [1] : 173 Точно так же «поведение» включает в себя любой выбор между вариантами, [1] : 177 и неопределенность такова, что каждому логически возможному человеческому предпочтению должна быть приписана некоторая вероятность, которая может быть весьма малой. [1] : 201
Рассел исследует обучение с обратным подкреплением , при котором машина выводит функцию вознаграждения из наблюдаемого поведения, как возможную основу механизма изучения человеческих предпочтений. [1] : 191–193
Прием [ править ]
Некоторые рецензенты согласились с аргументами книги. Ян Сэмпл в The Guardian назвал ее «убедительной» и «самой важной книгой об ИИ в этом году». [2] Ричард Уотерс из Financial Times похвалил книгу за «бодрящую интеллектуальную строгость». [3] Kirkus Reviews назвал это «веским аргументом в пользу планирования того дня, когда машины смогут перехитрить нас». [4]
Те же рецензенты охарактеризовали книгу как «ироническую и остроумную». [2] или «доступный» [4] благодаря «лаконичному стилю и сухому юмору». [3] Мэтью Хатсон из Wall Street Journal сказал: «Захватывающая книга г-на Рассела глубока, но в то же время сверкает сухими остротами». [5] Рецензент Library Journal назвал его «Правильным руководством в нужное время». [6]
Джеймс МакКонначи из The Times написал: «Это не совсем популярная книга, в которой срочно нуждается ИИ. Ее технические части слишком сложны, а философские слишком просты. Но она увлекательна и значительна». [7]
Напротив, «Совместимость с человеком» подверглась критике в обзоре «Природа» со стороны Дэвида Лесли, научного сотрудника по этике в Институте Алана Тьюринга ; и то же самое в в New York Times эссе Мелани Митчелл . Одним из спорных вопросов был вопрос о том, сверхинтеллект возможен ли . Лесли заявляет, что Расселу «не удается убедить, что мы когда-нибудь увидим появление «второго разумного вида » ». [8] и Митчелл сомневается, что машина когда-либо сможет «превзойти универсальность и гибкость человеческого интеллекта», не теряя при этом «скорости, точности и программируемости компьютера». [9] Второе разногласие заключалось в том, будут ли интеллектуальные машины естественным образом склонны принимать так называемые моральные ценности «здравого смысла». В мысленном эксперименте Рассела о геоинженерном роботе, который «удушает человечество, чтобы раскислить океаны», Лесли «изо всех сил пытается выявить какой-либо разум». Точно так же Митчелл считает, что интеллектуальный робот, естественно, будет «сдержан здравым смыслом, ценностями и социальными суждениями, без которых не может существовать общий интеллект». [10] [11]
Книга вошла в лонг-лист премии Financial Times /McKinsey 2019 года . [12]
См. также [ править ]
- Искусственный интеллект: современный подход
- Центр совместимого с человеком искусственного интеллекта
- Пропасть: экзистенциальный риск и будущее человечества
- Убойные роботы
- Суперинтеллект: пути, опасности, стратегии
Ссылки [ править ]
- ↑ Перейти обратно: Перейти обратно: а б с д и Рассел, Стюарт (8 октября 2019 г.). Совместимость с человеком: искусственный интеллект и проблема управления . США: Викинг. ISBN 978-0-525-55861-3 . OCLC 1083694322 .
- ↑ Перейти обратно: Перейти обратно: а б Сэмпл, Ян (24 октября 2019 г.). «Обзор Стюарта Рассела «Совместимость с человеком: искусственный интеллект и наше будущее»» . Хранитель .
- ↑ Перейти обратно: Перейти обратно: а б Уотерс, Ричард (18 октября 2019 г.). «Совместимость с человеком — можем ли мы сохранить контроль над сверхразумом?» . www.ft.com . Проверено 23 февраля 2020 г.
- ↑ Перейти обратно: Перейти обратно: а б «СОВМЕСТИМО С ЧЕЛОВЕКОМ | Обзоры Киркуса» . Обзоры Киркуса . 2019 . Проверено 23 февраля 2020 г.
- ^ Хатсон, Мэтью (19 ноября 2019 г.). « Обзор «совместимости с человеком» и «искусственного интеллекта»: учитесь как машина» . Уолл Стрит Джорнал .
- ^ Хан, Джим (2019). «Совместимость с человеком: искусственный интеллект и проблема управления» . Библиотечный журнал . Проверено 23 февраля 2020 г.
- ^ МакКонначи, Джеймс (6 октября 2019 г.). «Обзор Стюарта Рассела «Совместимость с человеком» — пугающее предупреждение эксперта по искусственному интеллекту» . Таймс .
- ^ Лесли, Дэвид (2 октября 2019 г.). «Бешеные роботы, несчастные люди: антиутопия искусственного интеллекта» . Природа . 574 (7776): 32–33. Бибкод : 2019Natur.574...32L . дои : 10.1038/d41586-019-02939-0 .
- ^ Митчелл, Мелани (31 октября 2019 г.). «Мнение | Нас не должен пугать «сверхразумный ИИ» » . Нью-Йорк Таймс . ISSN 0362-4331 . Проверено 18 июля 2023 г.
- ^ Лесли, Дэвид (2 октября 2019 г.). «Бешеные роботы, несчастные люди: антиутопия искусственного интеллекта». Природа . 574 (7776): 32–33. Бибкод : 2019Natur.574...32L . дои : 10.1038/d41586-019-02939-0 .
- ^ Митчелл, Мелани (31 октября 2019 г.). «Нас не должен пугать «сверхразумный ИИ» » . Нью-Йорк Таймс .
- ^ Хилл, Эндрю (11 августа 2019 г.). «Деловая книга года 2019 — лонг-лист» . www.ft.com . Проверено 23 февраля 2020 г.
