Проблема выравнивания

Проблема согласования: машинное обучение и человеческие ценности
	Издание в твердом переплете
Автор	Брайан Кристиан
Язык	Английский
Предмет	Выравнивание ИИ
Издатель	WW Нортон и компания
Дата публикации	6 октября 2020 г.
Место публикации	Соединенные Штаты
Тип носителя	Распечатка, электронная книга, аудиокнига
Страницы	496
ISBN	0393635821
ОКЛК	1137850003
Веб-сайт	brianchristian.org/the-alignment-problem/

«Проблема выравнивания: машинное обучение и человеческие ценности» — научно-популярная книга американского писателя Брайана Кристиана, вышедшая в 2020 году . Он основан на многочисленных интервью с экспертами, пытающимися создать искусственного интеллекта системы , особенно системы машинного обучения , соответствующие человеческим ценностям.

Резюме [ править ]

Книга разделена на три раздела: Пророчество, Действие и Нормативность. Каждый раздел посвящен исследователям и инженерам, работающим над различными проблемами согласования искусственного интеллекта с человеческими ценностями.

Пророчество [ править ]

В первом разделе Кристиан переплетает обсуждения истории исследований искусственного интеллекта, в частности машинного обучения подхода искусственных нейронных сетей, таких как Perceptron и AlexNet , с примерами того, как системы искусственного интеллекта могут вести себя непреднамеренно. Он рассказывает историю Джулии Ангвин , журналистки, чье ProPublica расследование алгоритма COMPAS , инструмента для прогнозирования рецидивов среди обвиняемых по уголовным делам, привело к широкой критике его точности и предвзятости в отношении определенных демографических групп. Одной из основных проблем согласования ИИ является его природа «черного ящика» (входные и выходные данные идентифицируются, но процесс трансформации между ними не определен). Отсутствие прозрачности затрудняет понимание того, где система работает правильно, а где нет.

Агентство [ править ]

Во втором разделе Кристиан аналогичным образом переплетает историю психологических исследований вознаграждения, таких как бихевиоризм и дофамин , с информатикой обучения с подкреплением , в которой системам ИИ необходимо разрабатывать политику («что делать») перед лицом функция ценности («каких наград или наказаний ожидать»). Он называет системы DeepMind AlphaGo и AlphaZero «возможно, самым впечатляющим достижением в области автоматизированного проектирования учебных программ». Он также подчеркивает важность любознательности, при которой обучающиеся с подкреплением внутренне мотивированы исследовать окружающую среду, а не искать исключительно внешнего вознаграждения.

Нормативность [ править ]

Третий раздел посвящен обучению ИИ посредством имитации поведения человека или машины, а также философским дебатам, таким как между поссибилизмом и актуализмом , которые подразумевают различное идеальное поведение для систем ИИ. Особое значение имеет обратное обучение с подкреплением — широкий подход, позволяющий машинам изучать целевую функцию человека или другого агента. Кристиан обсуждает нормативные проблемы, связанные с эффективным альтруизмом и экзистенциальным риском , в том числе работы философов Тоби Орда и Уильяма Макаскилла , которые пытаются разработать человеческие и машинные стратегии для максимально эффективного решения проблемы выравнивания.

Прием [ править ]

Книга получила положительные отзывы критиков. Дэвид А. Шейвиц из Wall Street Journal подчеркнул частые проблемы при применении алгоритмов к реальным задачам, охарактеризовав книгу как «тонкое и увлекательное исследование этой горячей темы». ^[2] Издательство Weekly похвалило книгу за ее написание и обширные исследования. ^[3]

Kirkus Reviews дал книге положительную рецензию, назвав ее «технически богатой, но доступной» и «интригующим исследованием ИИ». ^[4] Написав для журнала Nature , Вирджиния Дигнум дала книге положительную рецензию, сравнив ее с « Кейт Кроуфорд Атласом искусственного интеллекта» . ^[5]

В 2021 году журналист Эзра Кляйн включил Кристиана в свой подкаст «Шоу Эзры Кляйна», написав в The New York Times : « Проблема выравнивания» — лучшая книга по ключевым техническим и моральным вопросам ИИ, которую я читал». ^[6] Позже в том же году книга была включена в список Fast Company «5 книг, которые вдохновили генерального директора Microsoft Сатью Наделлу в этом году». ^[7]

В 2022 году книга получила Премию Эрика и Венди Шмидтов за выдающиеся достижения в области научных коммуникаций , присуждаемую Национальными академиями наук, техники и медицины в партнерстве с Schmidt Futures . ^[8]

В 2024 году газета New York Times назвала «Проблему выравнивания» одной из «5 лучших книг об искусственном интеллекте», заявив: «Если вы собираетесь прочитать одну книгу об искусственном интеллекте, то это именно она». ^[9]

См. также [ править ]

Ссылки [ править ]

^ «Проблема выравнивания» . WW Нортон и компания .
^ Шайвиц, Дэвид (25 октября 2020 г.). « Обзор «Проблемы выравнивания»: когда машины упускают суть» . Уолл Стрит Джорнал . Проверено 5 декабря 2021 г.
^ «Обзор документальной книги: Проблема согласования: машинное обучение и человеческие ценности», Брайан Кристиан. Нортон, 27,95 долларов США (356 пенсов) ISBN 978-0-393-63582-9 . ИздательствоWeekly.com . Проверено 20 января 2022 г.
^ ПРОБЛЕМА ВЫРАВНИВАНИЯ | Обзоры Киркуса .
^ Дигнум, Вирджиния (26 мая 2021 г.). «ИИ — люди и места, которые его создают, используют и управляют» . Природа . 593 (7860): 499–500. Бибкод : 2021Natur.593..499D . дои : 10.1038/d41586-021-01397-x . S2CID 235216649 .
^ Кляйн, Эзра (4 июня 2021 г.). «Если «все модели неверны», почему мы даем им столько власти?» . Нью-Йорк Таймс . Проверено 5 декабря 2021 г.
^ Наделла, Сатья (15 ноября 2021 г.). «5 книг, которые вдохновили генерального директора Microsoft Сатью Наделлу в этом году» . Компания Фаст . Проверено 5 декабря 2021 г.
^ «Победители — премии Эрика и Венди Шмидт за выдающиеся достижения в области научных коммуникаций — национальные академии» . Национальные академии . 12 октября 2022 г. Проверено 21 октября 2022 г.
^ Марке, Стивен (31 января 2024 г.). «5 лучших книг об искусственном интеллекте» . Нью-Йорк Таймс . Проверено 6 февраля 2024 г.

[1] «Проблема выравнивания» . WW Нортон и компания .

[shaywitz-2] Шайвиц, Дэвид (25 октября 2020 г.). « Обзор «Проблемы выравнивания»: когда машины упускают суть» . Уолл Стрит Джорнал . Проверено 5 декабря 2021 г.

[3] «Обзор документальной книги: Проблема согласования: машинное обучение и человеческие ценности», Брайан Кристиан. Нортон, 27,95 долларов США (356 пенсов) ISBN 978-0-393-63582-9 . ИздательствоWeekly.com . Проверено 20 января 2022 г.

[4] ПРОБЛЕМА ВЫРАВНИВАНИЯ | Обзоры Киркуса .

[5] Дигнум, Вирджиния (26 мая 2021 г.). «ИИ — люди и места, которые его создают, используют и управляют» . Природа . 593 (7860): 499–500. Бибкод : 2021Natur.593..499D . дои : 10.1038/d41586-021-01397-x . S2CID 235216649 .

[klein-6] Кляйн, Эзра (4 июня 2021 г.). «Если «все модели неверны», почему мы даем им столько власти?» . Нью-Йорк Таймс . Проверено 5 декабря 2021 г.

[nadella-7] Наделла, Сатья (15 ноября 2021 г.). «5 книг, которые вдохновили генерального директора Microsoft Сатью Наделлу в этом году» . Компания Фаст . Проверено 5 декабря 2021 г.

[8] «Победители — премии Эрика и Венди Шмидт за выдающиеся достижения в области научных коммуникаций — национальные академии» . Национальные академии . 12 октября 2022 г. Проверено 21 октября 2022 г.

[nyt5best-9] Марке, Стивен (31 января 2024 г.). «5 лучших книг об искусственном интеллекте» . Нью-Йорк Таймс . Проверено 6 февраля 2024 г.

[1]

[2]

[3]

[4]

[5]

[6]

[7]

[8]

[9]

v т и Эффективный альтруизм
Концепции	Эффективность помощи Благотворительная оценка Возражение требовательности Год жизни с поправкой на инвалидность Бремя болезней Анализ экономической эффективности распределения Зарабатывать, чтобы отдавать Равный учет интересов Долгосрочность Предельная полезность Расширение морального круга Психологические барьеры на пути к эффективному альтруизму Год жизни с поправкой на качество Утилитаризм Венчурная филантропия
Ключевые цифры	Сэм Бэнкман-Фрид Жизнь Бори Ник Бостром Хилари Гривз Холден Карновски Уильям Макаскилл Дастин Московиц Тис-Кван Нг Тоби Уорд Дерек Парфит Питер Сингер Ищите Тунец Элиэзер Юдковский
Организации	80 000 часов Фонд против малярии Всепартийная парламентская группа «Будущие поколения» Оценщики благотворительности для животных Этика животных Центр эффективного альтруизма Центр содействия обучению и исследованиям EA Центр высокоэффективной филантропии Центр изучения экзистенциального риска Девелопмент Медиа Интернэшнл Доказательства действия Фауналитика Фонд фистулы Институт будущего человечества Институт будущего жизни Обязательства основателей ДайтеНапрямую ДайНу Даем то, что можем Фонд хорошего питания Институт хорошей еды Хорошие предприятия Гуманная лига Милосердие к животным Научно-исследовательский институт машинного интеллекта Консорциум по борьбе с малярией Инициатива по ядерной угрозе Открытая благотворительность Повышение эффективности пожертвований Институт чувств Безграничное здоровье Инициатива по диким животным
Направления деятельности	Биотехнологический риск Изменение климата Культивированное мясо Экономическая стабильность Экзистенциальный риск от общего искусственного интеллекта Глобальный катастрофический риск Глобальное здоровье Глобальная бедность Иммиграционная реформа Интенсивное животноводство Реформа землепользования Продление жизни Профилактика малярии Массовая дегельминтизация Забытые тропические болезни Страдание от рисков Страдания диких животных
Литература	Делать добро лучше Конец животноводства Голод, изобилие и мораль Жизнь, которую вы можете спасти Жить на высоте и позволить умереть Самое хорошее, что вы можете сделать Практическая этика Пропасть Суперинтеллект: пути, опасности, стратегии Чем мы обязаны будущему
События	Эффективный Альтруизм Глобальный