Экзистенциальный риск от общего искусственного интеллекта

Экзистенциальный риск, связанный с общим искусственным интеллектом, относится к идее о том, что значительный прогресс в области общего искусственного интеллекта (AGI) может привести к вымиранию человечества или необратимой глобальной катастрофе .

Один из аргументов, подтверждающих этот риск, предполагает, что люди доминируют над другими видами, потому что человеческий мозг обладает отличительными способностями, которых нет у других животных. Если бы ИИ превзошел человеческий интеллект и стал сверхразумным , он мог бы стать неуправляемым. Так же, как судьба горной гориллы зависит от доброй воли человека, судьба человечества может зависеть от действий будущего машинного сверхразума.

Вероятность экзистенциальной катастрофы из-за ИИ широко обсуждается. Частично это зависит от того, достижимы ли ОИИ или сверхинтеллект, а также от скорости, с которой появляются опасные способности и модели поведения. и существуют ли практические сценарии поглощений ИИ . Обеспокоенность по поводу сверхинтеллекта высказывали ведущие ученые-компьютерщики и руководители технологических компаний, такие как Джеффри Хинтон , Джошуа Бенджио , Алан Тьюринг , Илон Маск , и OpenAI генеральный директор Сэм Альтман . В 2022 году опрос исследователей ИИ, на который ответили 17%, показал, что большинство из них считают, что вероятность того, что наша неспособность контролировать ИИ приведет к экзистенциальной катастрофе, составляет 10 или более процентов. В 2023 году сотни экспертов по искусственному интеллекту и другие известные деятели подписали заявление, в котором заявили, что «снижение риска исчезновения искусственного интеллекта должно стать глобальным приоритетом наряду с другими рисками социального масштаба, такими как пандемии и ядерная война ». После растущей обеспокоенности по поводу рисков, связанных с ИИ, лидеры правительства, такие как премьер-министр Соединенного Королевства Риши Сунак и Генеральный секретарь ООН Антониу Гутерриш призвал к усилению внимания к глобальному регулированию ИИ .

Два источника беспокойства связаны с проблемами управления и согласования ИИ : управлять сверхразумной машиной или привить ей ценности, совместимые с человеком, может быть сложно. Многие исследователи полагают, что сверхразумная машина, скорее всего, будет сопротивляться попыткам вывести ее из строя или изменить свои цели, поскольку это помешает ей достичь своих нынешних целей. Было бы чрезвычайно сложно привести сверхинтеллект в соответствие со всем спектром важных человеческих ценностей и ограничений. Напротив, скептики, такие как ученый-компьютерщик Ян ЛеКун, утверждают, что сверхразумные машины не будут стремиться к самосохранению.

Третьим источником беспокойства является возможность внезапного « интеллектуального взрыва », который застанет человечество врасплох. Этот сценарий предполагает, что ИИ, более умный, чем его создатели, может рекурсивно улучшаться с экспоненциально возрастающей скоростью, улучшаясь слишком быстро, чтобы его кураторы и общество в целом могли его контролировать. Эмпирически такие примеры, как AlphaZero , которая научилась играть в го и быстро превзошла человеческие способности, показывают, что специализированные системы ИИ иногда могут очень быстро переходить от нечеловеческих способностей к сверхчеловеческим, хотя такие системы не предполагают изменения своей фундаментальной архитектуры.

История

Одним из первых авторов, выразивших серьезную обеспокоенность тем, что высокоразвитые машины могут представлять экзистенциальную угрозу человечеству, был писатель Сэмюэл Батлер написал , который в своем эссе 1863 года «Дарвин среди машин» :

Результат — это просто вопрос времени, но то, что наступит время, когда машины будут обладать реальным господством над миром и его обитателями, — это то, в чем ни на мгновение не может усомниться ни один человек с истинно философским умом.

В 1951 году основоположник информатики Алан Тьюринг написал статью «Интеллектуальные машины, еретическая теория», в которой предположил, что общий искусственный интеллект, скорее всего, «возьмет под контроль» мир, поскольку он станет более разумным, чем люди:

Давайте теперь, ради аргументации, предположим, что [разумные] машины реальны, и посмотрим на последствия их создания... Не было бы и речи о смерти машин, и они могли бы общаться с друг друга, чтобы отточить свой ум. Поэтому на каком-то этапе нам следует ожидать, что машины возьмут на себя управление, как это упоминается в « » Сэмюэля Батлера Эревоне .

В 1965 году И. Дж. Гуд разработал концепцию, ныне известную как «интеллектуальный взрыв», и заявил, что риски недооцениваются:

Пусть сверхразумная машина будет определена как машина, которая может намного превзойти всю интеллектуальную деятельность любого человека, каким бы умным он ни был. Поскольку проектирование машин является одним из видов интеллектуальной деятельности, сверхразумная машина могла бы создавать машины еще лучше; тогда, несомненно, произойдет «интеллектуальный взрыв», и человеческий интеллект останется далеко позади. Таким образом, первая сверхразумная машина — это последнее изобретение, которое когда-либо понадобится человеку, при условии, что машина будет достаточно послушной, чтобы рассказать нам, как держать ее под контролем. Любопытно, что этот момент так редко упоминается за пределами научной фантастики. Иногда стоит серьезно отнестись к научной фантастике.

Такие ученые, как Марвин Мински и сам Эй Джей Гуд время от времени выражал обеспокоенность тем, что сверхинтеллект может захватить контроль, но не призывал к действию. В 2000 году учёный-компьютерщик и Sun соучредитель Билл Джой написал влиятельное эссе « Почему мы не нужны будущему », в котором сверхразумные роботы были названы высокотехнологичной угрозой для выживания человечества, наряду с нанотехнологиями и искусственными биочумами.

Ник Бостром опубликовал книгу «Суперинтеллект» в 2014 году, в которой представил свои аргументы о том, что сверхинтеллект представляет собой экзистенциальную угрозу. К 2015 году такие общественные деятели, как физики Стивен Хокинг и нобелевский лауреат Фрэнк Вильчек , ученые-компьютерщики Стюарт Дж. Рассел и Роман Ямпольский , а также предприниматели Илон Маск и Билл Гейтс , выражали обеспокоенность по поводу рисков сверхинтеллекта. Также в 2015 году « Открытое письмо по искусственному интеллекту» подчеркнуло «огромный потенциал ИИ» и призвало к проведению дополнительных исследований о том, как сделать его надежным и полезным. В апреле 2016 года журнал Nature предупредил: «Машины и роботы, превосходящие людей по всем направлениям, могут самосовершенствоваться вне нашего контроля, и их интересы могут не совпадать с нашими». В 2020 году Брайан Кристиан опубликовал «Проблему выравнивания» , в которой подробно описана история прогресса в согласовании ИИ до того времени.

В марте 2023 года ключевые фигуры в области ИИ, такие как Маск, подписали письмо Института будущего жизни, призывающее прекратить углубленное обучение ИИ до тех пор, пока оно не будет должным образом регулироваться. В мае 2023 года Центр безопасности ИИ опубликовал заявление, подписанное многочисленными экспертами в области безопасности ИИ и экзистенциального риска ИИ, в котором говорилось: «Снижение риска исчезновения ИИ должно быть глобальным приоритетом наряду с другими рисками социального масштаба, такими как пандемии и ядерная война».

Возможности ИИ

Общая разведка

Общий искусственный интеллект (AGI) обычно определяется как система, которая выполняет большинство или все интеллектуальные задачи как минимум так же хорошо, как люди. Опрос исследователей искусственного интеллекта, проведенный в 2022 году, показал, что 90% респондентов ожидали, что AGI будет достигнут в ближайшие 100 лет, а половина ожидала того же к 2061 году. Между тем, некоторые исследователи отвергают экзистенциальные риски, связанные с ОИИ, как «научную фантастику», основываясь на своей высокой уверенности в том, что ОИИ не будет создан в ближайшее время.

Прорывы в разработке больших языковых моделей заставили некоторых исследователей переоценить свои ожидания. Примечательно, что в 2023 году Джеффри Хинтон заявил, что недавно изменил свою оценку с «20–50 лет, прежде чем у нас появится ИИ общего назначения» на «20 лет или меньше».

Суперинтеллект

В отличие от ОИИ, Бостром определяет сверхинтеллект как «любой интеллект, который значительно превосходит когнитивные способности человека практически во всех областях интересов», включая научное творчество, стратегическое планирование и социальные навыки. Он утверждает, что сверхразум может перехитрить людей в любой момент, когда его цели противоречат человеческим. Он может решить скрыть свои истинные намерения до тех пор, пока человечество не сможет его остановить. Бостром пишет, что для того, чтобы быть безопасным для человечества, сверхразум должен соответствовать человеческим ценностям и морали, чтобы он «принципиально был на нашей стороне».

Стивен Хокинг утверждал, что сверхразум физически возможен, потому что «не существует физического закона, запрещающего частицам организовываться способами, которые позволяют выполнять даже более сложные вычисления, чем расположение частиц в человеческом мозге».

Вопрос о том, когда искусственный сверхинтеллект (ИСИ) может быть достигнут, если вообще когда-либо, обязательно менее определен, чем прогнозы относительно ОИИ. В 2023 году лидеры OpenAI заявили, что не только AGI, но и сверхинтеллект может быть достигнут менее чем за 10 лет.

Сравнение с людьми

Бостром утверждает, что ИИ имеет множество преимуществ перед человеческим мозгом :

• Скорость вычислений: биологические нейроны работают на максимальной частоте около 200 Гц по сравнению с потенциально несколькими ГГц для компьютеров.
• Скорость внутренней связи: аксоны передают сигналы со скоростью до 120 м/с, а компьютеры передают сигналы со скоростью электричества или оптически со скоростью света .
• Масштабируемость: человеческий интеллект ограничен размером и структурой мозга, а также эффективностью социальной коммуникации, в то время как ИИ может масштабироваться, просто добавляя больше оборудования.
• Память: особенно рабочая память , поскольку у людей она ограничена несколькими фрагментами информации одновременно.
• Надежность: транзисторы более надежны, чем биологические нейроны, что обеспечивает более высокую точность и требует меньшего резервирования.
• Дублируемость: в отличие от человеческого мозга, программное обеспечение и модели ИИ можно легко скопировать .
• Редактируемость: параметры и внутреннюю работу модели ИИ можно легко изменить, в отличие от связей в человеческом мозге.
• Совместное использование памяти и обучение. ИИ могут учиться на опыте других ИИ более эффективно, чем человеческое обучение.

Взрыв интеллекта

По словам Бострома, ИИ, обладающий экспертным потенциалом для решения определенных ключевых задач разработки программного обеспечения, может стать сверхразумом благодаря своей способности рекурсивно улучшать свои собственные алгоритмы, даже если он изначально ограничен в других областях, не имеющих прямого отношения к инженерии. Это говорит о том, что интеллектуальный взрыв может когда-нибудь застать человечество врасплох.

Экономист Робин Хэнсон сказал, что для запуска интеллектуального взрыва ИИ должен стать намного лучше в инновациях в области программного обеспечения, чем весь остальной мир вместе взятый, что он считает неправдоподобным.

В сценарии «быстрого взлета» переход от ОИИ к сверхразуму может занять дни или месяцы. При «медленном взлете» это может занять годы или десятилетия, оставляя обществу больше времени на подготовку.

Чужой разум

Сверхразумы иногда называют «инопланетными разумами», имея в виду, что их образ мышления и мотивация могут сильно отличаться от наших. Обычно это рассматривается как источник риска, из-за которого становится сложнее предвидеть, что может сделать сверхинтеллект. Это также предполагает возможность того, что сверхразум по умолчанию не особенно ценит людей. Чтобы избежать антропоморфизма , сверхинтеллект иногда рассматривается как мощный оптимизатор, который принимает оптимальные решения для достижения своих целей.

Область «механистической интерпретируемости» направлена ​​на лучшее понимание внутренней работы моделей ИИ, что потенциально позволит нам однажды обнаружить признаки обмана и несогласованности.

Ограничения

Утверждалось, что существуют ограничения на то, чего может достичь интеллект. Примечательно, что хаотичная природа или временная сложность некоторых систем может фундаментально ограничить способность сверхразума предсказывать некоторые аспекты будущего, увеличивая его неопределенность.

Опасные возможности

Усовершенствованный ИИ может создавать усиленные патогены, проводить кибератаки или манипулировать людьми. Эти возможности могут быть неправильно использованы людьми, или используется самим ИИ, если он смещен. Полноценный сверхинтеллект мог бы найти различные способы получить решающее влияние, если бы захотел. но эти опасные возможности могут стать доступными раньше, в более слабых и специализированных системах ИИ. Они могут вызвать социальную нестабильность и расширить возможности злоумышленников.

Социальная манипуляция

Джеффри Хинтон предупредил, что в краткосрочной перспективе обилие текстов, изображений и видео, созданных ИИ, затруднит выяснение истины, которую, по его словам, авторитарные государства могут использовать для манипулирования выборами. Такие крупномасштабные, персонализированные возможности манипулирования могут увеличить экзистенциальный риск мирового «необратимого тоталитарного режима». Его также могут использовать злоумышленники, чтобы расколоть общество и сделать его дисфункциональным.

Кибератаки

с использованием искусственного интеллекта Кибератаки все чаще считаются настоящей и критической угрозой. По словам технического директора НАТО по киберпространству, «количество атак растет в геометрической прогрессии». ИИ также может использоваться для защиты, для упреждающего поиска и устранения уязвимостей, а также для обнаружения угроз.

ИИ может улучшить «доступность, успешность, масштаб, скорость, скрытность и эффективность кибератак», что потенциально может вызвать «значительную геополитическую турбулентность», если он будет способствовать атакам больше, чем защите.

Предположительно, такие возможности взлома могут быть использованы системой искусственного интеллекта для выхода из локальной среды, получения дохода или приобретения ресурсов облачных вычислений.

патогены

По мере демократизации технологии искусственного интеллекта, возможно, станет проще создавать более заразные и смертоносные патогены. Это может позволить людям с ограниченными навыками в области синтетической биологии участвовать в биотерроризме . Технологии двойного назначения , полезные для медицины, могут быть перепрофилированы для создания оружия.

Например, в 2022 году ученые модифицировали систему искусственного интеллекта, изначально предназначенную для генерации нетоксичных терапевтических молекул с целью создания новых лекарств. Исследователи скорректировали систему таким образом, чтобы токсичность вознаграждалась, а не наказывалась. Это простое изменение позволило системе искусственного интеллекта за шесть часов создать 40 000 молекул-кандидатов для химического оружия , включая известные и новые молекулы.

Гонка

Основная статья: Гонка вооружений в области искусственного интеллекта

Компании, государственные структуры и другие организации, конкурирующие за разработку технологий искусственного интеллекта, могут привести к снижению стандартов безопасности. Поскольку строгие процедуры безопасности требуют времени и ресурсов, проекты, которые реализуются более тщательно, рискуют быть вытеснены менее добросовестными разработчиками.

ИИ может быть использован для получения военных преимуществ с помощью автономного летального оружия , кибервойны или автоматического принятия решений . В качестве примера автономного летального оружия миниатюрные дроны могут облегчить недорогое уничтожение военных или гражданских целей. Этот сценарий показан в короткометражном фильме 2017 года «Slaughterbots» . ИИ может быть использован для получения преимущества в принятии решений за счет быстрого анализа больших объемов данных и принятия решений быстрее и эффективнее, чем люди. Это может повысить скорость и непредсказуемость войны, особенно с учетом автоматизированных систем возмездия.

Виды экзистенциального риска

Таблица масштабов и серьезности из статьи Бострома «Предотвращение экзистенциальных рисков как глобальный приоритет».

Экзистенциальный риск - это «тот, который угрожает преждевременным исчезновением разумной жизни, зародившейся на Земле, или постоянным и радикальным разрушением ее потенциала для желаемого будущего развития».

Помимо риска вымирания, существует риск того, что цивилизация навсегда окажется в ошибочном будущем. Одним из примеров является «привязка ценностей»: если у человечества все еще есть моральные слепые зоны, подобные рабству в прошлом, ИИ может необратимо укрепить их, препятствуя моральному прогрессу . ИИ также можно использовать для распространения и сохранения набора ценностей того, кто его разрабатывает. ИИ мог бы способствовать широкомасштабному надзору и идеологической обработке, которые можно было бы использовать для создания стабильного репрессивного мирового тоталитарного режима.

Трудно или невозможно достоверно оценить, разумен ли продвинутый ИИ и в какой степени. Но если в будущем разумные машины будут массово созданы, вступление на цивилизационный путь, который бесконечно игнорирует их благополучие, может стать экзистенциальной катастрофой. Более того, возможно, удастся создать цифровые умы, которые смогут чувствовать гораздо больше счастья, чем люди с меньшими ресурсами, называемые «супер-бенефициарами». Такая возможность поднимает вопрос о том, как разделить мир и какие «этические и политические рамки» сделают возможным взаимовыгодное сосуществование биологического и цифрового разума.

ИИ также может радикально улучшить будущее человечества. Тоби Орд считает экзистенциальный риск причиной «действовать с должной осторожностью», а не отказываться от ИИ. Макс Мор называет ИИ «экзистенциальной возможностью», подчеркивая цену отказа от его разработки.

По мнению Бострома, сверхинтеллект может помочь снизить экзистенциальный риск, исходящий от других мощных технологий, таких как молекулярная нанотехнология или синтетическая биология . Таким образом, вполне возможно, что развитие сверхразума раньше других опасных технологий снизит общий экзистенциальный риск.

Выравнивание ИИ

Дополнительная информация: выравнивание AI.

Проблема согласования — это исследовательская проблема того, как надежно назначить цели, предпочтения или этические принципы ИИ.

Инструментальная конвергенция

Дополнительная информация: Инструментальная конвергенция.

« Инструментальная » цель — это подцель, которая помогает достичь конечной цели агента. «Инструментальная конвергенция» относится к тому факту, что некоторые подцели полезны для достижения практически любой конечной цели, например, приобретения ресурсов или самосохранения. Бостром утверждает, что если инструментальные цели продвинутого ИИ противоречат целям человечества, ИИ может нанести вред человечеству, чтобы получить больше ресурсов или предотвратить свое выключение, но только как способ достижения своей конечной цели.

Некоторые способы, с помощью которых продвинутый, смещенный ИИ может попытаться получить больше власти. Поведение, направленное на достижение власти, может возникнуть потому, что власть полезна для достижения практически любой цели.

Рассел утверждает, что достаточно продвинутая машина «будет обладать самосохранением, даже если вы не запрограммируете ее… если вы скажете: «Принеси кофе», она не сможет принести кофе, если она мертва. Итак, если вы дадите Какова бы ни была цель, у нее есть причина сохранить свое существование для достижения этой цели».

Сопротивление изменению целей

Даже если нынешние программы ИИ, основанные на целях, недостаточно разумны, чтобы думать о сопротивлении попыткам программистов изменить их целевые структуры, достаточно продвинутый ИИ может сопротивляться любым попыткам изменить свою целевую структуру, точно так же, как пацифист не захочет принять таблетку, которая заставляет их хотеть убивать людей. Если бы ИИ был сверхразумным, ему, скорее всего, удалось бы перехитрить своих операторов-людей и предотвратить «выключение» или перепрограммирование себя для достижения новой цели. Это особенно актуально для сценариев фиксации стоимости. Область «исправимости» изучает, как создать агентов, которые не будут сопротивляться попыткам изменить свои цели.

Сложность определения целей

In the "intelligent agent" model, an AI can loosely be viewed as a machine that chooses whatever action appears to best achieve its set of goals, or "utility function". A utility function gives each possible situation a score that indicates its desirability to the agent. Researchers know how to write utility functions that mean "minimize the average network latency in this specific telecommunications model" or "maximize the number of reward clicks", but do not know how to write a utility function for "maximize human flourishing"; nor is it clear whether such a function meaningfully and unambiguously exists. Furthermore, a utility function that expresses some values but not others will tend to trample over the values the function does not reflect.

An additional source of concern is that AI "must reason about what people intend rather than carrying out commands literally", and that it must be able to fluidly solicit human guidance if it is too uncertain about what humans want.

Alignment of superintelligences

Some researchers believe the alignment problem may be particularly difficult when applied to superintelligences. Their reasoning includes:

• As AI systems increase in capabilities, the potential dangers associated with experimentation grow. This makes iterative, empirical approaches increasingly risky.
• If instrumental goal convergence occurs, it may only do so in sufficiently intelligent agents.
• A superintelligence may find unconventional and radical solutions to assigned goals. Bostrom gives the example that if the objective is to make humans smile, a weak AI may perform as intended, while a superintelligence may decide a better solution is to "take control of the world and stick electrodes into the facial muscles of humans to cause constant, beaming grins."
• A superintelligence in creation could gain some awareness of what it is, where it is in development (training, testing, deployment, etc.), and how it is being monitored, and use this information to deceive its handlers. Bostrom writes that such an AI could feign alignment to prevent human interference until it achieves a "decisive strategic advantage" that allows it to take control.
• Analyzing the internals and interpreting the behavior of current large language models is difficult. And it could be even more difficult for larger and more intelligent models.

Alternatively, some find reason to believe superintelligences would be better able to understand morality, human values, and complex goals. Bostrom writes, "A future superintelligence occupies an epistemically superior vantage point: its beliefs are (probably, on most topics) more likely than ours to be true".

In 2023, OpenAI started a project called "Superalignment" to solve the alignment of superintelligences in four years. It called this an especially important challenge, as it said superintelligence may be achieved within a decade. Its strategy involves automating alignment research using artificial intelligence.

Difficulty of making a flawless design

Artificial Intelligence: A Modern Approach, a widely used undergraduate AI textbook, says that superintelligence "might mean the end of the human race". It states: "Almost any technology has the potential to cause harm in the wrong hands, but with [superintelligence], we have the new problem that the wrong hands might belong to the technology itself." Even if the system designers have good intentions, two difficulties are common to both AI and non-AI computer systems:

• The system's implementation may contain initially unnoticed but subsequently catastrophic bugs. An analogy is space probes: despite the knowledge that bugs in expensive space probes are hard to fix after launch, engineers have historically not been able to prevent catastrophic bugs from occurring.
• No matter how much time is put into pre-deployment design, a system's specifications often result in unintended behavior the first time it encounters a new scenario. For example, Microsoft's Tay behaved inoffensively during pre-deployment testing, but was too easily baited into offensive behavior when it interacted with real users.

AI systems uniquely add a third problem: that even given "correct" requirements, bug-free implementation, and initial good behavior, an AI system's dynamic learning capabilities may cause it to develop unintended behavior, even without unanticipated external scenarios. An AI may partly botch an attempt to design a new generation of itself and accidentally create a successor AI that is more powerful than itself but that no longer maintains the human-compatible moral values preprogrammed into the original AI. For a self-improving AI to be completely safe, it would need not only to be bug-free, but to be able to design successor systems that are also bug-free.

Orthogonality thesis

Some skeptics, such as Timothy B. Lee of Vox, argue that any superintelligent program we create will be subservient to us, that the superintelligence will (as it grows more intelligent and learns more facts about the world) spontaneously learn moral truth compatible with our values and adjust its goals accordingly, or that we are either intrinsically or convergently valuable from the perspective of an artificial intelligence.

Bostrom's "orthogonality thesis" argues instead that, with some technical caveats, almost any level of "intelligence" or "optimization power" can be combined with almost any ultimate goal. If a machine is given the sole purpose to enumerate the decimals of pi, then no moral and ethical rules will stop it from achieving its programmed goal by any means. The machine may use all available physical and informational resources to find as many decimals of pi as it can. Bostrom warns against anthropomorphism: a human will set out to accomplish their projects in a manner that they consider reasonable, while an artificial intelligence may hold no regard for its existence or for the welfare of humans around it, instead caring only about completing the task.

Stuart Armstrong argues that the orthogonality thesis follows logically from the philosophical "is-ought distinction" argument against moral realism. He claims that even if there are moral facts provable by any "rational" agent, the orthogonality thesis still holds: it is still possible to create a non-philosophical "optimizing machine" that can strive toward some narrow goal but that has no incentive to discover any "moral facts" such as those that could get in the way of goal completion. Another argument he makes is that any fundamentally friendly AI could be made unfriendly with modifications as simple as negating its utility function. Armstrong further argues that if the orthogonality thesis is false, there must be some immoral goals that AIs can never achieve, which he finds implausible.

Skeptic Michael Chorost explicitly rejects Bostrom's orthogonality thesis, arguing that "by the time [the AI] is in a position to imagine tiling the Earth with solar panels, it'll know that it would be morally wrong to do so." Chorost argues that "an A.I. will need to desire certain states and dislike others. Today's software lacks that ability—and computer scientists have not a clue how to get it there. Without wanting, there's no impetus to do anything. Today's computers can't even want to keep existing, let alone tile the world in solar panels."

Anthropomorphic arguments

Anthropomorphic arguments assume that, as machines become more intelligent, they will begin to display many human traits, such as morality or a thirst for power. Although anthropomorphic scenarios are common in fiction, most scholars writing about the existential risk of artificial intelligence reject them. Instead, advanced AI systems are typically modeled as intelligent agents.

The academic debate is between those who worry that AI might threaten humanity and those who believe it would not. Both sides of this debate have framed the other side's arguments as illogical anthropomorphism. Those skeptical of AGI risk accuse their opponents of anthropomorphism for assuming that an AGI would naturally desire power; those concerned about AGI risk accuse skeptics of anthropomorphism for believing an AGI would naturally value or infer human ethical norms.

Evolutionary psychologist Steven Pinker, a skeptic, argues that "AI dystopias project a parochial alpha-male psychology onto the concept of intelligence. They assume that superhumanly intelligent robots would develop goals like deposing their masters or taking over the world"; perhaps instead "artificial intelligence will naturally develop along female lines: fully capable of solving problems, but with no desire to annihilate innocents or dominate the civilization." Facebook's director of AI research, Yann LeCun, has said: "Humans have all kinds of drives that make them do bad things to each other, like the self-preservation instinct... Those drives are programmed into our brain but there is absolutely no reason to build robots that have the same kind of drives".

Despite other differences, the x-risk school agrees with Pinker that an advanced AI would not destroy humanity out of emotion such as revenge or anger, that questions of consciousness are not relevant to assess the risk, and that computer systems do not generally have a computational equivalent of testosterone. They think that power-seeking or self-preservation behaviors emerge in the AI as a way to achieve its true goals, according to the concept of instrumental convergence.

Other sources of risk

See also: Ethics of artificial intelligence, Artificial intelligence arms race, and Global catastrophic risk

Bostrom and others have said that a race to be the first to create AGI could lead to shortcuts in safety, or even to violent conflict. Roman Yampolskiy and others warn that a malevolent AGI could be created by design, for example by a military, a government, a sociopath, or a corporation, to benefit from, control, or subjugate certain groups of people, as in cybercrime, or that a malevolent AGI could choose the goal of increasing human suffering, for example of those people who did not assist it during the information explosion phase.^:158

Scenarios

Further information: Artificial intelligence in fiction and AI takeover

Some scholars have proposed hypothetical scenarios to illustrate some of their concerns.

Treacherous turn

В книге «Суперинтеллект » Бостром выражает обеспокоенность тем, что даже если сроки появления сверхинтеллекта окажутся предсказуемыми, исследователи могут не принять достаточных мер предосторожности, отчасти потому, что «может случиться так, что когда глупее, умнее безопасно; но когда умнее, умнее более опасен». Он предлагает сценарий, в котором через десятилетия ИИ станет более мощным. Широкомасштабное развертывание поначалу омрачается случайными несчастными случаями: беспилотный автобус выезжает на встречную полосу или военный беспилотник стреляет по невинной толпе. Многие активисты призывают к ужесточению надзора и регулирования, а некоторые даже предсказывают надвигающуюся катастрофу. Но по мере того, как развитие продолжается, активисты оказываются неправы. Поскольку автомобильный ИИ становится умнее, он попадает в меньшее количество аварий; поскольку военные роботы достигают более точного нацеливания, они наносят меньший побочный ущерб. Основываясь на этих данных, ученые ошибочно делают общий вывод: чем умнее ИИ, тем он безопаснее. «И поэтому мы смело идем навстречу кружащимся ножам», поскольку сверхразумный ИИ делает «коварный поворот» и использует решающее стратегическое преимущество.

Жизнь 3.0

В книге Макса Тегмарка « » 2017 года Жизнь 3.0 «команда Omega» корпорации создает чрезвычайно мощный ИИ, способный умеренно улучшать собственный исходный код в ряде областей. После определенного момента команда решает публично преуменьшить возможности ИИ, чтобы избежать регулирования или конфискации проекта. В целях безопасности команда хранит ИИ в коробке , где он по большей части не может общаться с внешним миром, и использует его для зарабатывания денег различными способами, такими как задачи Amazon Mechanical Turk , производство анимационных фильмов и телешоу, а также разработка. биотехнологических лекарств, а прибыль инвестируется обратно в дальнейшее совершенствование ИИ. Затем команда поручает ИИ управлять армией гражданских журналистов и комментаторов под псевдонимами, чтобы получить политическое влияние и использовать его «во всеобщее благо» для предотвращения войн. Команда сталкивается с риском, которого ИИ может попытаться избежать, встраивая «черные ходы» в разрабатываемые им системы, скрывая сообщения в создаваемом им контенте или используя свое растущее понимание человеческого поведения для убедить кого-нибудь дать ему свободу . Команда также сталкивается с риском того, что ее решение заблокировать проект приведет к задержке проекта на время, достаточное для того, чтобы его обогнал другой проект.

Перспективы

Тезис о том, что ИИ может представлять экзистенциальный риск, вызывает широкий спектр реакций в научном сообществе и в обществе в целом, но многие из противоположных точек зрения имеют общие точки зрения.

Наблюдатели склонны соглашаться с тем, что ИИ обладает значительным потенциалом для улучшения общества. Принципы искусственного интеллекта Асиломара , которые содержат только те принципы, с которыми согласились 90% участников будущего жизни Института конференции «Полезный искусственный интеллект 2017» , также в принципе согласны с тем, что «поскольку консенсуса нет, нам следует избегать сильных предположений относительно верхних пределов будущих возможностей ИИ» и «Усовершенствованный ИИ может представлять собой глубокие изменения в истории жизни на Земле, и его следует планировать и управлять соразмерными забота и ресурсы».

И наоборот, многие скептики согласны с тем, что продолжающиеся исследования последствий общего искусственного интеллекта имеют ценность. Скептик Мартин Форд сказал: «Я думаю, что было бы разумно применить что-то вроде знаменитой «доктрины одного процента» Дика Чейни к ​​призраку развитого искусственного интеллекта: вероятность его появления, по крайней мере, в обозримом будущем, может быть очень высокой. низкий, но последствия настолько драматичны, что к этому следует относиться серьезно». Точно так же скептически настроенный в других отношениях журнал Economist написал в 2014 году, что «последствия появления на Земле второго разумного вида достаточно далеко идущие, чтобы заслуживать серьезного размышления, даже если перспектива кажется отдаленной».

Защитники безопасности ИИ, такие как Бостром и Тегмарк, раскритиковали использование ведущими средствами массовой информации «этих бессмысленных изображений Терминатора » для иллюстрации проблем безопасности ИИ: «Не может быть очень весело, когда клевета на чью-то академическую дисциплину, профессиональное сообщество, жизнь работать   ... Я призываю все стороны проявлять терпение и сдержанность, а также, насколько это возможно, участвовать в прямом диалоге и сотрудничестве». Тоби Орд написал, что идея о том, что для захвата власти ИИ требуются роботы, является заблуждением, утверждая, что способность распространять контент через Интернет более опасна и что самые разрушительные люди в истории выделялись своей способностью убеждать, а не физической силой. .

Опрос экспертов 2022 года с уровнем ответа 17% дал медианное ожидание возможности вымирания человечества из-за искусственного интеллекта в 5–10%.

Одобрение

Дополнительная информация: Глобальный катастрофический риск.

Тезис о том, что ИИ представляет экзистенциальный риск и что этот риск требует гораздо большего внимания, чем ему уделяется в настоящее время, был поддержан многими учеными-компьютерщиками и общественными деятелями, включая Алана Тьюринга , самый цитируемый учёный-компьютерщик Джеффри Хинтон , Илон Маск , OpenAI Генеральный директор Сэм Альтман Билл Гейтс и Стивен Хокинг . Сторонники тезиса иногда выражают недоумение по поводу скептиков: Гейтс говорит, что он «не понимает, почему некоторые люди не обеспокоены» а Хокинг раскритиковал широко распространенное безразличие в своей редакционной статье 2014 года:

Итак, сталкиваясь с возможным будущим, полным неисчислимых выгод и рисков, эксперты наверняка делают все возможное, чтобы обеспечить наилучший результат, не так ли? Неправильный. Если бы высшая инопланетная цивилизация отправила нам сообщение: «Мы прибудем через несколько десятилетий», ответили бы мы просто: «Хорошо, позвоните нам, когда доберетесь сюда, мы оставим свет включенным?» Вероятно, нет, но именно это более или менее происходит с ИИ.

Обеспокоенность по поводу риска, связанного с искусственным интеллектом, привела к некоторым громким пожертвованиям и инвестициям. В 2015 году Питер Тиль , Amazon Web Services , Маск и другие совместно выделили 1 миллиард долларов OpenAI , состоящему из коммерческой корпорации и некоммерческой материнской компании, которая заявляет, что стремится продвигать ответственную разработку искусственного интеллекта. Соучредитель Facebook Дастин Московиц профинансировал и запустил несколько лабораторий, работающих над AI Alignment. в частности, 5,5 миллиона долларов в 2016 году на запуск Центра ИИ, совместимого с человеком, под руководством профессора Стюарта Рассела . В январе 2015 года Илон Маск пожертвовал 10 миллионов долларов Институту будущего жизни для финансирования исследований по пониманию процесса принятия решений с помощью ИИ. Цель института — «взращивать мудрость, с помощью которой мы управляем» растущей мощью технологий. Маск также финансирует компании, разрабатывающие искусственный интеллект, такие как DeepMind и Vicarious, чтобы «просто следить за тем, что происходит с искусственным интеллектом». говоря: «Я думаю, что здесь потенциально опасный исход».

В первых заявлениях по этой теме Джеффри Хинтон , крупный пионер глубокого обучения , отмечал, что «не существует хорошего опыта того, как менее разумные существа управляют более разумными существами», но сказал, что он продолжил свои исследования, потому что «перспектива открытия слишком сладко ». В 2023 году Хинтон уволился с работы в Google, чтобы высказаться о экзистенциальном риске, связанном с ИИ. Он объяснил, что его возросшая обеспокоенность была вызвана опасениями, что сверхчеловеческий ИИ может оказаться ближе, чем он считал ранее, сказав: «Я думал, что это очень далеко. Я думал, что это произойдет через 30–50 лет или даже дольше. что." Он также заметил: «Посмотрите, как это было пять лет назад и как это происходит сейчас. Возьмите разницу и распространяйте ее дальше. Это страшно».

В своей книге 2020 года «Пропасть: экзистенциальный риск и будущее человечества » Тоби Орд, старший научный сотрудник Института будущего человечества Оксфордского университета , оценивает общий экзистенциальный риск от несогласованного ИИ в течение следующих 100 лет примерно в один из десяти.

Скептицизм

Дополнительная информация: Общий искусственный интеллект § осуществимость.

Baidu В 2015 году вице-президент Эндрю Нг заявил, что экзистенциальный риск ИИ «все равно что беспокоиться о перенаселении Марса, когда мы еще даже не ступили на эту планету». Чтобы опасность неконтролируемого продвинутого ИИ была реализована, гипотетическому ИИ, возможно, придется одолеть или перехитрить любого человека, что, по мнению некоторых экспертов, является возможностью достаточно далекого будущего, чтобы не заслуживать исследования.

Скептики, считающие, что ОИИ не является краткосрочной возможностью, часто утверждают, что беспокойство по поводу экзистенциального риска, связанного с ИИ, бесполезно, поскольку оно может отвлечь людей от более насущных опасений по поводу воздействия ИИ, поскольку это может привести к государственному регулированию или затруднить финансирование ИИ. исследований или потому, что это может нанести ущерб репутации этой области. Исследователи ИИ и этики ИИ Тимнит Гебру , Эмили М. Бендер , Маргарет Митчелл и Анджелина Макмиллан-Мейджор утверждают, что обсуждение экзистенциального риска отвлекает от непосредственного, продолжающегося вреда от ИИ, имеющего место сегодня, такого как кража данных, эксплуатация работников, предвзятость. и концентрация власти. Они также отмечают связь между теми, кто предупреждает об экзистенциальном риске, и долгосрочностью , которую они называют «опасной идеологией» из-за ее ненаучной и утопической природы.

журнала Wired Редактор Кевин Келли утверждает, что естественный интеллект более тонок, чем полагают сторонники ОИИ, и что одного интеллекта недостаточно для достижения крупных научных и социальных прорывов. Он утверждает, что интеллект состоит из множества измерений, которые до конца не изучены, и что концепции «лестницы интеллекта» вводят в заблуждение. Он отмечает решающую роль реальных экспериментов в научном методе, и что интеллект сам по себе не может заменить их.

Meta Главный ученый по искусственному интеллекту Янн ЛеКун говорит, что искусственный интеллект можно сделать безопасным посредством непрерывного и итеративного совершенствования, подобно тому, что происходило в прошлом с автомобилями или ракетами, и что у искусственного интеллекта не будет желания брать на себя управление.

Некоторые скептики подчеркивают потенциальные краткосрочные преимущества ИИ. Генеральный директор Meta Марк Цукерберг считает, что искусственный интеллект «откроет огромное количество положительных вещей», таких как лечение болезней и повышение безопасности автономных автомобилей.

реакция

в 2016 году Во время интервью Wired президента Барака Обамы из MIT Media Lab и Джои Ито Ито сказал:

Есть несколько человек, которые считают, что существует довольно высокая вероятность того, что в ближайшие 10 лет появится универсальный ИИ. Но я считаю, что для того, чтобы это произошло, нам понадобится дюжина или два различных прорыва. Таким образом, вы можете отслеживать, когда, по вашему мнению, произойдут эти прорывы.

Обама добавил:

И вам просто нужно, чтобы кто-то был рядом со шнуром питания. [Смеется.] Когда ты видишь, что это вот-вот произойдет, ты должен выдернуть электричество из стены, чувак.

Хиллари Клинтон написала в книге «Что случилось» :

Технологи... предупредили, что искусственный интеллект однажды может представлять реальную угрозу безопасности. Маск назвал это «величайшим риском, с которым мы сталкиваемся как цивилизация». Подумайте об этом: видели ли вы когда-нибудь фильм, в котором машины начинают думать самостоятельно, и это заканчивается хорошо? Каждый раз, когда я отправлялся в Силиконовую долину во время предвыборной кампании, я возвращался домой еще более встревоженный этим. Мои сотрудники жили в страхе, что я начну говорить о «возвышении роботов» в какой-нибудь мэрии Айовы. Возможно, мне следовало бы это сделать. В любом случае, политикам необходимо идти в ногу с развитием технологий, а не постоянно догонять их.

Общественные опросы

В 2018 году SurveyMonkey, опрос американской общественности проведенный USA Today, показал, что 68% считают, что реальной нынешней угрозой остается «человеческий интеллект», но также выяснилось, что 43% заявили, что сверхразумный ИИ, если бы он случился, принес бы «больше вреда, чем хорошо», и что 38% заявили, что это принесет «одинаковое количество вреда и пользы».

в апреле 2023 года, Опрос взрослого населения США , проведенный YouGov показал, что 46% респондентов были «несколько обеспокоены» или «очень обеспокоены» «возможностью того, что ИИ приведет к концу человечества на Земле», по сравнению с 40%, которые были «не очень обеспокоены». обеспокоен» или «совсем не обеспокоен».

Согласно опросу Pew Research Centers, проведенному в августе 2023 года, 52% американцев были скорее обеспокоены, чем воодушевлены новыми разработками в области искусственного интеллекта; почти треть чувствовала себя одинаково обеспокоенной и взволнованной. Больше американцев увидели, что ИИ окажет скорее полезное, чем вредное влияние на ряд областей, от здравоохранения и безопасности транспортных средств до поиска товаров и обслуживания клиентов. Главным исключением является конфиденциальность: 53% американцев считают, что ИИ приведет к более широкому раскрытию их личной информации.

Смягчение

См. также: Согласование ИИ , Машинная этика , Дружественный искусственный интеллект и Регулирование искусственного интеллекта.

Многие ученые, обеспокоенные экзистенциальным риском ОИИ, считают, что необходимы обширные исследования «проблемы контроля». Эта проблема включает в себя определение того, какие меры безопасности, алгоритмы или архитектуры можно реализовать, чтобы повысить вероятность того, что рекурсивно улучшающийся ИИ останется дружественным после достижения сверхразума. Также предлагаются социальные меры для смягчения рисков AGI. например, спонсируемый ООН «Договор о благотворительном ОИИ», гарантирующий создание только альтруистических ОИИ. Кроме того, были предложены подход к контролю над вооружениями и глобальный мирный договор, основанный на теории международных отношений , потенциально с возможностью подписания искусственного сверхинтеллекта.

Исследователи из Google предложили изучить общие вопросы «безопасности ИИ», чтобы одновременно смягчить как краткосрочные риски, связанные с узким ИИ, так и долгосрочные риски, связанные с AGI. По оценкам на 2020 год, глобальные расходы на экзистенциальный риск ИИ составляют от 10 до 50 миллионов долларов по сравнению с глобальными расходами на ИИ, возможно, около 40 миллиардов долларов. Бостром предлагает отдать приоритет финансированию защитных технологий, а не потенциально опасных. Некоторые, такие как Илон Маск, выступают за радикальное улучшение когнитивных функций человека , например, за прямую нейронную связь между людьми и машинами; другие утверждают, что эти технологии сами по себе могут представлять экзистенциальный риск. Другой предложенный метод — тщательный мониторинг или «изоляция» ИИ на ранней стадии, чтобы не допустить, чтобы он стал слишком мощным. Доминирующий, согласованный сверхразумный ИИ может также снизить риски, исходящие от конкурирующих ИИ, хотя его создание может представлять собой собственную экзистенциальную опасность.

Такие учреждения, как Исследовательский центр выравнивания , Научно-исследовательский институт машинного интеллекта , Институт будущего жизни , Центр изучения экзистенциального риска и Центр совместимого с человеком искусственного интеллекта. активно участвуют в исследовании рисков и безопасности ИИ.

на запрет

Запретить

Некоторые ученые говорят, что даже если AGI представляет экзистенциальный риск, попытки запретить исследования в области искусственного интеллекта по-прежнему неразумны и, вероятно, бесполезны. Скептики считают регулирование ИИ бессмысленным, поскольку никакого экзистенциального риска не существует. Но ученые, которые верят в риск, утверждают, что полагаться на инсайдеров отрасли ИИ для регулирования или ограничения исследований в области ИИ непрактично из-за конфликта интересов. Они также согласны со скептиками в том, что запрещать исследования было бы неразумно, поскольку исследования могут быть перенесены в страны с более мягкими правилами или проводиться тайно. Дополнительные проблемы, связанные с запретами или регулированием, включают общий скептицизм технологических предпринимателей по отношению к государственному регулированию и потенциальные стимулы для бизнеса сопротивляться регулированию и политизировать дебаты.

Регламент

См. Также: Регулирование алгоритмов и Регулирование искусственного интеллекта.

В марте 2023 года Институт будущего жизни подготовил проект «Приостановить гигантские эксперименты с искусственным интеллектом: открытое письмо» — петицию, призывающую крупных разработчиков искусственного интеллекта согласиться на поддающуюся проверке шестимесячную паузу в работе любых систем, «более мощных, чем GPT-4 », и использовать это. пора создать систему обеспечения безопасности; или, в противном случае, правительства введут мораторий. В письме упоминалась возможность «глубокого изменения в истории жизни на Земле», а также потенциальные риски пропаганды, создаваемой искусственным интеллектом, потери рабочих мест, устаревания человечества и потери контроля над обществом в целом. Письмо было подписано видными деятелями в области искусственного интеллекта, но его также раскритиковали за то, что оно не сосредоточило внимание на текущих проблемах. упущены технические нюансы о том, когда делать паузу, или не зашел достаточно далеко.

Маск призвал к некоторому регулированию разработки ИИ еще в 2017 году. По данным NPR , он «явно не в восторге» от того, что выступает за государственный контроль, который может повлиять на его собственную отрасль, но считает, что риски полного отсутствия надзора слишком высоки. : «Обычно правила устанавливаются так, что происходит множество плохих событий, возникает общественный резонанс, и через много лет создается регулирующий орган, который будет регулировать эту отрасль. Это занимает целую вечность. В прошлом так было. плохо, но не то, что представляет собой фундаментальный риск для существования цивилизации». Маск заявляет, что первым шагом правительства будет получение «понимания» фактического статуса текущих исследований, предупреждая, что «как только появится осведомленность, люди будут очень напуганы… [как] они и должны быть». В ответ политики выразили скептицизм по поводу целесообразности регулирования технологии, которая все еще находится в разработке.

В 2021 году Организация Объединенных Наций (ООН) рассматривала вопрос о запрете автономного летального оружия, но консенсуса достичь не удалось. ООН В июле 2023 года Совет Безопасности впервые провел заседание, на котором были рассмотрены риски и угрозы, которые ИИ представляет для мира и стабильности во всем мире, а также потенциальные выгоды. Генеральный секретарь Антониу Гутерриш выступил за создание глобального наблюдательного органа для наблюдения за появляющимися технологиями, заявив: «Генераторный ИИ обладает огромным потенциалом добра и зла в масштабе. Сами его создатели предупреждают, что впереди нас ждут гораздо более серьезные, потенциально катастрофические и экзистенциальные риски. " На заседании совета Россия заявила, что, по ее мнению, риски ИИ слишком плохо изучены, чтобы их можно было считать угрозой глобальной стабильности. Китай выступил против строгого глобального регулирования, заявив, что страны должны иметь возможность разрабатывать свои собственные правила, а также заявил, что выступает против использования ИИ для «создания военной гегемонии или подрыва суверенитета страны».

Регулирование сознательных ОИИ направлено на их интеграцию в существующее человеческое общество и может быть разделено на рассмотрение их юридического статуса и их моральных прав. Контроль над вооружениями с использованием ИИ, скорее всего, потребует институционализации новых международных норм, воплощенных в эффективных технических спецификациях, в сочетании с активным мониторингом и неформальной дипломатией со стороны экспертных сообществ, а также процессом юридической и политической проверки.

В июле 2023 года правительство США добилось добровольных обязательств по безопасности от крупных технологических компаний, включая OpenAI , Amazon , Google , Meta и Microsoft . Компании согласились принять меры безопасности, включая сторонний надзор и тестирование безопасности независимыми экспертами, чтобы решить проблемы, связанные с потенциальными рисками ИИ и социальным вредом. Стороны сформулировали обязательства как промежуточный этап при формировании регламентов. Амба Как, исполнительный директор AI Now Institute , заявил: «Закрытого обсуждения с корпоративными субъектами, приводящего к добровольным мерам безопасности, недостаточно» и призвал к публичному обсуждению и принятию правил, на которые компании добровольно не согласились бы.

В октябре 2023 года президент США Джо Байден издал указ о «Безопасной, надежной и заслуживающей доверия разработке и использовании искусственного интеллекта». Помимо других требований, приказ требует разработки руководящих принципов для моделей ИИ, позволяющих «уходить от человеческого контроля».

См. также

• Обращение к вероятности
• Выравнивание ИИ
• Безопасность ИИ
• Батлерианский джихад
• Эффективный альтруизм § Долгосрочное будущее и глобальные катастрофические риски
• Серая слизь
• Совместимость с человеком
• Летальное автономное оружие
• Максимизатор скрепки
• Философия искусственного интеллекта
• Этика роботов § В популярной культуре
• Заявление о риске исчезновения ИИ
• Суперинтеллект: пути, опасности, стратегии
• Страдание от рисков
• Системная авария
• Технологическая особенность

Библиография

• Кларк, Джек (2015a). «Группа, поддерживаемая Маском, исследует риски, связанные с искусственным интеллектом» . Bloomberg.com . Архивировано из оригинала 30 октября 2015 года . Проверено 30 октября 2015 г.