Суперинтеллект

Сверхинтеллект , — это гипотетический агент обладающий интеллектом , превосходящим интеллект самых ярких и одаренных людей, от немного умнее верхних пределов человеческого уровня интеллекта до значительно превосходящих человеческие когнитивные способности. ^{[ 1 ]} «Суперинтеллект» также может относиться к свойству систем решения проблем (например, сверхразумных языковых переводчиков или помощников инженеров), независимо от того, воплощены ли эти интеллектуальные компетенции высокого уровня в агентах, действующих в мире. Сверхразум может быть создан, а может и не быть создан в результате интеллектуального взрыва и связан с технологической сингулярностью .

Оксфордского университета Философ Ник Бостром определяет сверхинтеллект как «любой интеллект, который значительно превосходит когнитивные способности человека практически во всех областях интересов». ^{[ 2 ]} Программа Фриц не соответствует этой концепции сверхразума (хотя она намного лучше людей играет в шахматы), потому что Фриц не может превзойти людей в других задачах. ^{[ 3 ]} Другие исследователи предложили более широкие определения, включающие интеллект лишь незначительно умнее человека. ^{[ 4 ]}

Исследователи-технологи расходятся во мнениях относительно того, насколько вероятно, что современный человеческий интеллект будет превзойден. Некоторые утверждают, что достижения в области искусственного интеллекта (ИИ), вероятно, приведут к появлению общих систем мышления, лишенных человеческих когнитивных ограничений. Другие полагают, что люди будут эволюционировать или напрямую модифицировать свою биологию, чтобы достичь радикально большего интеллекта. ^{[ 5 ]}^{[ 6 ]} Несколько сценариев будущих исследований сочетают в себе элементы обеих этих возможностей, предполагая, что люди, вероятно, будут взаимодействовать с компьютерами или загружать свои мысли в компьютеры таким образом, чтобы обеспечить существенное усиление интеллекта.

Некоторые исследователи полагают, что сверхинтеллект, скорее всего, появится вскоре после развития общего искусственного интеллекта . Первые в целом разумные машины, вероятно, сразу же получат огромное преимущество, по крайней мере, в некоторых формах умственных способностей, включая способность к идеальному запоминанию , значительно превосходящую базу знаний и способность выполнять несколько задач способами, недоступными биологическим существам. Это может позволить им — как отдельному существу или как новому виду — стать намного более могущественными, чем люди, и вытеснить их. ^{[ 2 ]}

Некоторые ученые и прогнозисты выступают за приоритетность ранних исследований возможных преимуществ и рисков улучшения когнитивных функций человека и машины из-за потенциального социального воздействия таких технологий. ^{[ 7 ]}

Возможность создания искусственного сверхинтеллекта

Возможность создания искусственного сверхинтеллекта (ИСИ) стала темой растущих дискуссий в последние годы, особенно в связи с быстрым развитием технологий искусственного интеллекта (ИИ).

Прогресс в области искусственного интеллекта и претензии AGI

Недавние разработки в области искусственного интеллекта, особенно в моделях больших языков (LLM), основанных на архитектуре преобразователя , привели к значительным улучшениям в различных задачах. Такие модели, как GPT-3 , GPT-4 , Claude 3.5 и другие, продемонстрировали возможности, которые, по мнению некоторых исследователей, приближаются или даже демонстрируют аспекты общего искусственного интеллекта (AGI). ^{[ 8 ]}

Однако утверждение о том, что нынешние LLM представляют собой AGI, является спорным. Критики утверждают, что эти модели, хотя и впечатляют, все же лишены истинного понимания и представляют собой в первую очередь сложные системы сопоставления с образцом. ^{[ 9 ]}

Пути к сверхразуму

Философ Дэвид Чалмерс утверждает, что ОИИ — это вероятный путь к ИСИ. Он утверждает, что ИИ может достичь эквивалентности человеческому интеллекту, быть расширен, чтобы превзойти его, а затем быть усилен, чтобы доминировать над людьми в произвольных задачах. ^{[ 10 ]}

Более поздние исследования изучили различные потенциальные пути к сверхразуму:

Масштабирование существующих систем искусственного интеллекта. Некоторые исследователи утверждают, что дальнейшее масштабирование существующих архитектур искусственного интеллекта, особенно моделей на основе трансформаторов, может привести к появлению AGI и, возможно, ASI. ^{[ 11 ]}
Новые архитектуры. Другие предполагают, что для достижения AGI и ASI могут потребоваться новые архитектуры искусственного интеллекта, потенциально вдохновленные нейронаукой. ^{[ 12 ]}
Гибридные системы. Сочетание различных подходов к искусственному интеллекту, включая символический искусственный интеллект и нейронные сети, потенциально может привести к созданию более надежных и эффективных систем. ^{[ 13 ]}

Вычислительные преимущества

Искусственные системы имеют несколько потенциальных преимуществ перед биологическим интеллектом:

Скорость. Компьютерные компоненты работают намного быстрее, чем биологические нейроны. Современные микропроцессоры (~2 ГГц) на семь порядков быстрее нейронов (~200 Гц). ^{[ 14 ]}
Масштабируемость. Системы искусственного интеллекта потенциально можно масштабировать по размеру и вычислительной мощности легче, чем биологический мозг.
Модульность. Различные компоненты систем искусственного интеллекта можно улучшать или заменять независимо друг от друга.
Память. Системы искусственного интеллекта могут обладать идеальной памятью и обширной базой знаний. Кроме того, он гораздо менее ограничен, чем люди, когда дело касается рабочей памяти. ^{[ 14 ]}
Многозадачность. ИИ может выполнять несколько задач одновременно способами, недоступными для биологических объектов.

Возможный путь через модели трансформаторов

Недавние достижения в моделях на основе трансформаторов заставили некоторых исследователей предположить, что путь к ASI может лежать в масштабировании и улучшении этих архитектур. Эта точка зрения предполагает, что дальнейшее совершенствование моделей трансформаторов или аналогичных архитектур может привести непосредственно к ASI. ^{[ 15 ]}

Некоторые эксперты даже утверждают, что нынешние большие языковые модели, такие как GPT-4, возможно, уже демонстрируют первые признаки возможностей AGI или ASI. ^{[ 16 ]} Эта точка зрения предполагает, что переход от нынешнего ИИ к ИСИ может быть более непрерывным и быстрым, чем считалось ранее, стирая границы между узким ИИ, ОИИ и ИСИ.

Однако эта точка зрения остается спорной. Критики утверждают, что нынешние модели, хотя и впечатляют, все же лишены таких важных аспектов общего интеллекта, как истинное понимание, рассуждение и адаптируемость в различных областях. ^{[ 17 ]}

Споры о том, будет ли путь к ASI включать в себя отдельную фазу AGI или более прямое масштабирование существующих технологий, продолжаются, что имеет серьезные последствия для стратегий развития ИИ и соображений безопасности.

Проблемы и неопределенности

Несмотря на эти потенциальные преимущества, существуют значительные проблемы и неопределенности в достижении ASI:

Проблемы этики и безопасности. Развитие ASI поднимает множество этических вопросов и потенциальных рисков, которые необходимо решить. ^{[ 18 ]}
Вычислительные требования. Вычислительные ресурсы, необходимые для ASI, могут значительно превышать текущие возможности.
Фундаментальные ограничения. Могут существовать фундаментальные ограничения интеллекта, применимые как к искусственным, так и к биологическим системам.
Непредсказуемость. Путь к ИСИ и его последствия весьма неопределенны и трудно предсказуемы.

Поскольку исследования в области ИИ продолжают быстро развиваться, вопрос о возможности ASI остается темой интенсивных дискуссий и исследований в научном сообществе.

Возможность биологического сверхинтеллекта

Карл Саган предположил, что появление кесарева сечения и экстракорпорального оплодотворения может позволить людям развить более крупные головы, что приведет к улучшениям посредством естественного отбора в наследственном компоненте человеческого интеллекта . ^{[ 19 ]} Напротив, Джеральд Крэбтри утверждал, что снижение давления отбора приводит к медленному, многовековому снижению человеческого интеллекта и что вместо этого этот процесс, скорее всего, будет продолжаться. В отношении любой из этих возможностей нет научного консенсуса, и в обоих случаях биологические изменения будут медленными, особенно по сравнению со скоростью культурных изменений.

Селекция , ноотропы , эпигенетическая модуляция и генная инженерия могут улучшить человеческий интеллект быстрее. Бостром пишет, что если мы придем к пониманию генетического компонента интеллекта, преимплантационную генетическую диагностику можно будет использовать для отбора эмбрионов с приростом IQ до 4 баллов (если один эмбрион выбран из двух) или с более крупными приростами. (например, до 24,3 баллов IQ, если выбрать один эмбрион из 1000). Если этот процесс будет повторяться на протяжении многих поколений, выигрыш может быть на порядок лучше. Бостром предполагает, что получение новых гамет из эмбриональных стволовых клеток можно использовать для быстрого повторения процесса отбора. ^{[ 20 ]} Хорошо организованное общество людей с высоким интеллектом такого типа потенциально могло бы достичь коллективного сверхразума. ^{[ 21 ]}

С другой стороны, коллективный разум может быть конструктивным путем лучшей организации людей на нынешнем уровне индивидуального интеллекта. Некоторые авторы предположили, что человеческая цивилизация или какой-то ее аспект (например, Интернет или экономика) начинает функционировать как глобальный мозг , возможности которого намного превосходят составляющие его агенты. , основанный на биологии Однако, если этот системный сверхинтеллект в значительной степени опирается на искусственные компоненты, его можно квалифицировать как ИИ, а не как суперорганизм . ^{[ 22 ]} Рынок прогнозов иногда рассматривается как пример работающей системы коллективного разума, состоящей только из людей (при условии, что алгоритмы не используются для принятия решений). ^{[ 23 ]}

Последним методом усиления интеллекта могло бы стать непосредственное улучшение отдельных людей, а не улучшение их социальной или репродуктивной динамики. Этого можно достичь с помощью ноотропов , соматической генной терапии или интерфейсов мозг-компьютер . Однако Бостром выражает скептицизм по поводу масштабируемости первых двух подходов и утверждает, что разработка сверхразумного киборга интерфейса — это задача , полная для ИИ . ^{[ 24 ]}

Прогнозы

Большинство опрошенных исследователей ИИ ожидают, что машины в конечном итоге смогут конкурировать с людьми в интеллекте, хотя нет единого мнения о том, когда это, скорее всего, произойдет. На конференции AI@50 2006 года 18% участников сообщили, что ожидают, что к 2056 году машины смогут «имитировать обучение и все другие аспекты человеческого интеллекта»; 41% участников ожидали, что это произойдет где-то после 2056 года; и 41% ожидали, что машины никогда не достигнут этого рубежа. ^{[ 25 ]}

В опросе 100 наиболее цитируемых авторов в области искусственного интеллекта (по состоянию на май 2013 года, согласно академическому поиску Microsoft) средний год, к которому респонденты ожидали, что машины «могут выполнять большинство человеческих профессий, по крайней мере, так же, как обычный человек» ( не при условии, что глобальной катастрофы произойдет) с достоверностью 10 % – 2024 г. 2072, стандартное отклонение 110 лет), а с 90% уверенностью — 2070 (в среднем 2168, стандартное отклонение 342 года). Эти оценки исключают 1,2% респондентов, которые сказали, что ни один год никогда не достигнет 10%-ной уверенности, 4,1%, которые сказали «никогда» с 50%-ной уверенностью, и 16,5%, которые сказали «никогда» с 90%-ной уверенностью. Респонденты присвоили медианную 50% вероятность того, что машинный сверхинтеллект будет изобретен в течение 30 лет после изобретения машинного интеллекта примерно человеческого уровня. ^{[ 26 ]}

В опросе 2022 года средний год, к которому респонденты ожидали «машинного интеллекта высокого уровня» с уверенностью 50%, - это 2061 год. В опросе было определено достижение высокого уровня машинного интеллекта, когда машины без посторонней помощи могут выполнять любую задачу лучше и дешевле, чем человеческие работники. ^{[ 27 ]}

В 2023 году OpenAI лидеры Сэм Альтман , Грег Брокман и Илья Суцкевер опубликовали рекомендации по управлению сверхинтеллектом, что, по их мнению, может произойти менее чем через 10 лет. ^{[ 28 ]} В 2024 году Илья Суцкевер покинул OpenAI и стал соучредителем стартапа Safe Superintelligence , который фокусируется исключительно на создании сверхразума, безопасного по своей конструкции, избегая при этом «отвлечения на управленческие накладные расходы или циклы разработки продукта». ^{[ 29 ]}

Потенциальная угроза человечеству

Развитие искусственного сверхинтеллекта (ИСИ) вызвало обеспокоенность по поводу потенциальных экзистенциальных рисков для человечества. Исследователи предложили различные сценарии, в которых ИСИ может представлять значительную угрозу:

Взрыв интеллекта и проблема контроля

Некоторые исследователи утверждают, что благодаря рекурсивному самосовершенствованию ИСИ может быстро стать настолько мощным, что выйдет из-под контроля человека. Эта концепция, известная как «интеллектуальный взрыв», была впервые предложена И. Дж. Гудом в 1965 году:

Пусть сверхразумная машина будет определена как машина, которая может намного превзойти всю интеллектуальную деятельность любого человека, каким бы умным он ни был. Поскольку проектирование машин является одним из видов интеллектуальной деятельности, сверхразумная машина могла бы создавать машины еще лучше; тогда, несомненно, произойдет «интеллектуальный взрыв», и человеческий интеллект останется далеко позади. Таким образом, первая сверхразумная машина — это последнее изобретение, которое когда-либо понадобится человеку, при условии, что машина будет достаточно послушной, чтобы рассказать нам, как держать ее под контролем. ^{[ 44 ]}

В этом сценарии представлена проблема управления ИИ: как создать ИСИ, который принесет пользу человечеству, избегая при этом непредвиденных вредных последствий. ^{[ 45 ]} Элиэзер Юдковский утверждает, что решение этой проблемы имеет решающее значение до того, как будет разработан ИСИ, поскольку сверхразумная система сможет помешать любым последующим попыткам контроля. ^{[ 46 ]}

Непредвиденные последствия и несовпадение целей

Даже имея благие намерения, ИСИ потенциально может причинить вред из-за несогласованных целей или неожиданной интерпретации своих целей. Ник Бостром приводит яркий пример этого риска:

Когда мы создаем первое сверхразумное существо, мы можем совершить ошибку и поставить перед ним цели, которые приведут его к уничтожению человечества, предполагая, что его огромное интеллектуальное преимущество дает ему возможность сделать это. Например, мы могли ошибочно повысить статус подцели до статуса сверхцели. Мы приказываем ему решить математическую задачу, и он подчиняется, превращая всю материю Солнечной системы в гигантское вычислительное устройство, убивая при этом человека, задавшего вопрос. ^{[ 47 ]}

Стюарт Рассел предлагает еще один иллюстративный сценарий:

Системе, целью которой является максимизация человеческого счастья, возможно, будет проще перенастроить человеческую нейрологию так, чтобы люди всегда были счастливы независимо от обстоятельств, а не улучшать внешний мир. ^{[ 48 ]}

Эти примеры подчеркивают возможность катастрофических результатов, даже если ИСИ явно не предназначен для нанесения вреда, подчеркивая решающую важность точного определения и согласования целей.

Потенциальные стратегии смягчения последствий

Исследователи предложили различные подходы к снижению рисков, связанных с ИАС:

Контроль возможностей — ограничение способности ASI влиять на мир, например, посредством физической изоляции или ограничения доступа к ресурсам. ^{[ 49 ]}
Мотивационный контроль. Разработка ИСИ с целями, которые фундаментально соответствуют человеческим ценностям. ^{[ 50 ]}
Этический ИИ. Включение этических принципов и механизмов принятия решений в системы ASI. ^{[ 51 ]}
Надзор и управление – Разработка надежных международных рамок для разработки и внедрения технологий ASI. ^{[ 52 ]}

Несмотря на эти предложенные стратегии, некоторые эксперты, такие как Роман Ямпольский, утверждают, что проблема управления сверхразумным ИИ может быть принципиально неразрешимой, подчеркивая необходимость крайней осторожности при разработке ИСИ. ^{[ 53 ]}

Дебаты и скептицизм

Не все исследователи согласны с вероятностью или серьезностью экзистенциальных рисков, связанных с ASI. Некоторые, например Родни Брукс, утверждают, что опасения по поводу сверхразумного ИИ преувеличены и основаны на нереалистичных предположениях о природе интеллекта и технологического прогресса. ^{[ 54 ]} Другие, такие как Джоанна Брайсон, утверждают, что антропоморфизация систем ИИ приводит к неуместным опасениям по поводу их потенциальных угроз. ^{[ 55 ]}

Последние события и текущие перспективы

Быстрое развитие моделей больших языков (LLM) и других технологий искусственного интеллекта усилило споры о близости и потенциальных рисках ASI. Хотя научного консенсуса нет, некоторые исследователи и практики искусственного интеллекта утверждают, что нынешние системы искусственного интеллекта, возможно, уже приближаются к возможностям искусственного общего интеллекта (AGI) или даже ASI.

Возможности LLM. Недавние LLM, такие как GPT-4, продемонстрировали неожиданные способности в таких областях, как рассуждение, решение проблем и мультимодальное понимание, что заставило некоторых задуматься об их потенциальном пути к ASI. ^{[ 56 ]}

Эмерджентное поведение. Исследования показали, что по мере увеличения размера и сложности моделей ИИ они могут проявлять новые возможности, отсутствующие в более мелких моделях, что потенциально указывает на тенденцию к более общему интеллекту. ^{[ 57 ]}

Быстрый прогресс. Темпы развития ИИ заставили некоторых утверждать, что мы, возможно, находимся ближе к ИСИ, чем считалось ранее, что может иметь потенциальные последствия для экзистенциального риска. ^{[ 58 ]}

Меньшая часть исследователей и наблюдателей, в том числе некоторые представители сообщества разработчиков ИИ, полагают, что нынешние системы ИИ, возможно, уже находятся на уровне AGI или близко к нему, а в ближайшем будущем потенциально последует ASI. Эта точка зрения, хотя и не получившая широкого признания в научном сообществе, основана на наблюдениях за быстрым развитием возможностей ИИ и неожиданным поведением крупных моделей. ^{[ 59 ]}

Однако многие эксперты предостерегают от преждевременных заявлений об ОИИ или ИСИ, утверждая, что нынешним системам ИИ, несмотря на их впечатляющие возможности, все еще не хватает истинного понимания и общего интеллекта. ^{[ 60 ]} Они подчеркивают серьезные проблемы, которые остаются на пути достижения интеллекта человеческого уровня, не говоря уже о сверхинтеллекте.

Дебаты вокруг текущего состояния и траектории развития ИИ подчеркивают важность продолжения исследований в области безопасности и этики ИИ, а также необходимость создания надежных систем управления для управления потенциальными рисками по мере дальнейшего развития возможностей ИИ. ^{[ 52 ]}

См. также

Безопасность ИИ
Поглощение ИИ
Искусственный мозг
Гонка вооружений искусственного интеллекта
Эффективный альтруизм
Этика искусственного интеллекта
Экзистенциальный риск
Дружественный искусственный интеллект
Институт будущего человечества
Интеллектуальный агент
Машинная этика
Научно-исследовательский институт машинного интеллекта
Машинное обучение
Закон нейронного масштабирования - Закон в машинном обучении
Ноосфера - Философская концепция преемницы биосферы через рациональную деятельность человечества.
Очерк искусственного интеллекта
Постгуманизм
Робототехника
Самовоспроизведение
Самовоспроизводящаяся машина
Суперинтеллект: пути, опасности, стратегии

Ссылки

^ Ямпольский, Роман В. (2015). «Искусственный суперинтеллект: футуристический подход». Чепмен и Холл/CRC : 33. ISBN 9781482234435 . ИСИ может варьироваться от лишь немного более способных, чем человек, до на несколько порядков более умных.
^ Jump up to: ^а ^б Бостром 2014 , Глава 2.
^ Бостром 2014 , с. 22.
^ Герцель, Бен (2007). Общий искусственный интеллект . Спрингер. п. 8. ISBN 978-3-540-23733-4 . Сверхинтеллект может проявляться в различных формах: от чуть выше человеческого уровня до значительно превосходящих способностей.
^ Пирс, Дэвид (2012), Иден, Амнон Х.; Мур, Джеймс Х.; Сёракер, Джонни Х.; Стейнхарт, Эрик (ред.), «Взрыв биоинтеллекта: как рекурсивно самоусовершенствующиеся органические роботы изменят свой собственный исходный код и загрузят наш путь к сверхинтеллекту полного спектра» , «Гипотезы сингулярности» , The Frontiers Collection, Берлин, Гейдельберг: Springer Berlin Гейдельберг, стр. 199–238, doi : 10.1007/978-3-642-32560-1_11 , ISBN 978-3-642-32559-5 , получено 16 января 2022 г.
^ Гувейя, Стивен С., изд. (2020). «гл. 4, «Люди и интеллектуальные машины: коэволюция, слияние или замена?», Дэвид Пирс» . Эпоха искусственного интеллекта: исследование . Вернон Пресс. ISBN 978-1-62273-872-4 .
^ Легг 2008 , стр. 135–137.
^ «Исследователи Microsoft утверждают, что GPT-4 демонстрирует «искры» AGI» . Футуризм . 23 марта 2023 г. Проверено 13 декабря 2023 г.
^ Маркус, Гэри; Дэвис, Эрнест (2023). «GPT-4 и далее: будущее искусственного интеллекта». Препринт arXiv arXiv:2303.10130 .
^ Чалмерс 2010 , с. 7.
^ Каплан, Джаред; МакКэндлиш, Сэм; Хениган, Том; Браун, Том Б.; Шахматы, Бенджамин; Дитя, Ревон; Грей, Скотт; Рэдфорд, Алек; Ву, Джеффри; Амодей, Дарио (2020). «Законы масштабирования для моделей нейронного языка». Препринт arXiv arXiv:2001.08361 .
^ Хассабис, Демис; Кумаран, Дхаршан; Саммерфилд, Кристофер; Ботвиник, Мэтью (2017). «Искусственный интеллект, основанный на нейробиологии». Нейрон . 95 (2): 245–258. дои : 10.1016/j.neuron.2017.06.011 .
^ Гарсес, Артур д'Авила; Лэмб, Луис К. (2020). «Нейросимволический ИИ: 3-я волна». Препринт arXiv arXiv:2012.05876 .
^ Jump up to: ^а ^б Бостром 2014 , с. 59.
^ Суцкевер, Илья (2023). «Краткая история масштабирования». Очередь АКМ . 21 (4): 31–43. дои : 10.1145/3595878.3605016 .
^ Бубек, Себастьян; Чандрасекаран, Варун; Эльдан, Ронен; Герке, Джон; Хорвиц, Эрик; Камар, Эдже; Ли, Питер; Ли, Инь Тат; Ли, Юаньчжи; Лундберг, Скотт; Нори, Харша; Плита, Хамид; Прекуп, Дойна; Сунцов, Павел; Шривастава, Санджана; Тесслер, Кэтрин; Тянь, Цзяньфэн; Захир, Манзил (22 марта 2023 г.). «Искры общего искусственного интеллекта: ранние эксперименты с GPT-4» . arXiv .
^ Маркус, Гэри (2020). «Следующее десятилетие в области искусственного интеллекта: четыре шага к надежному искусственному интеллекту». Препринт arXiv arXiv:2002.06177 .
^ Рассел, Стюарт (2019). «Совместимость с человеком: искусственный интеллект и проблема управления». Викинг .
^ Саган, Карл (1977). Драконы Эдема . Случайный дом.
^ Бостром 2014 , стр. 37–39.
^ Бостром 2014 , с. 39.
^ Бостром 2014 , стр. 48–49.
^ Уоткинс, Дженнифер Х. (2007), Рынки прогнозов как механизм агрегирования коллективного разума
^ Бостром 2014 , стр. 36–37, 42, 47.
^ Создатель, Мэг Хьюстон (13 июля 2006 г.). «AI@50: Первый опрос» . Архивировано из оригинала 13 мая 2014 г.
^ Мюллер и Бостром, 2016 , стр. 3–4, 6, 9–12.
^ «Сроки развития искусственного интеллекта: чего эксперты в области искусственного интеллекта ожидают в будущем?» . Наш мир в данных . Проверено 9 августа 2023 г.
^ «Управление сверхинтеллектом» . openai.com . Проверено 30 мая 2023 г.
^ Вэнс, Эшли (19 июня 2024 г.). «У Ильи Суцкевера новый план безопасного суперинтеллекта» . Блумберг . Проверено 19 июня 2024 г.
^ Jump up to: ^а ^б Бостром 2014 , стр. 209–221.
^ Кристиан 2017 .
^ Антропный 2022 .
^ OpenAI 2018 .
^ Боммасани 2021 .
^ Вэй 2022 .
^ Браун 2020 .
^ Алайрак 2022 .
^ Маркус 2022 .
^ Хороший 1965 год .
^ Бостром 2012 .
^ Омохундро 2008 .
^ Габриэль 2020 .
^ Рассел 2019 . ошибка sfn: несколько целей (2×): CITEREFRussell2019 ( справка )
^ Хорошо 1965 , с. 33.
^ Рассел 2019 , стр. 137–160. ошибка sfn: несколько целей (2×): CITEREFRussell2019 ( справка )
^ Юдковский 2008 .
^ Бостром 2002 .
^ Рассел 2019 , с. 136. Ошибка sfn: несколько целей (2×): CITEREFRussell2019 ( справка )
^ Бостром 2014 , стр. 129–136.
^ Бостром 2014 , стр. 136–143.
^ Уоллах и Аллен 2008 .
^ Jump up to: ^а ^б Дефо 2018 .
^ Yampolskiy 2020 .
^ Брукс 2017 .
^ Брайсон 2019 .
^ Бубек 2023 .
^ Вэй 2022 , стр. 3–5.
^ Орд 2020 , стр. 143–147.
^ Нго 2022 .
^ Маркус 2023 , стр. 5–8.

Статьи

Бостром, Ник (2002), «Экзистенциальные риски» , Журнал «Эволюция и технологии» , стр. 9 , получено 7 августа 2007 г.
Чалмерс, Дэвид (2010). «Сингулярность: философский анализ» (PDF) . Журнал исследований сознания . 17 :7–65.
Легг, Шейн (2008). Машинный сверхинтеллект (PDF) (доктор философии). Кафедра информатики Университета Лугано . Проверено 19 сентября 2014 г.
Мюллер, Винсент К .; Бостром, Ник (2016). «Будущий прогресс в области искусственного интеллекта: опрос мнений экспертов» . В Мюллере, Винсент К. (ред.). Фундаментальные проблемы искусственного интеллекта . Спрингер. стр. 553–571.
Сантос-Ланг, Кристофер (2014). «Наша ответственность за управление оценочным разнообразием» (PDF) . ACM SIGCAS Компьютеры и общество . 44 (2): 16–19. дои : 10.1145/2656870.2656874 . S2CID 5649158 .

Книги

Хиббард, Билл (2002). Суперинтеллектуальные машины . Издательство Kluwer Academic/Plenum.
Бостром, Ник (2014). Суперинтеллект: пути, опасности, стратегии . Издательство Оксфордского университета.
Тегмарк, Макс (2018). Жизнь 3.0: быть человеком в эпоху искусственного интеллекта . Лондон, Англия. ISBN 978-0-14-198180-2 . OCLC 1018461467 . {{cite book}}: CS1 maint: отсутствует местоположение издателя ( ссылка )
Рассел, Стюарт Дж. (2019). Совместимость с человеком: искусственный интеллект и проблема управления . Нью-Йорк. ISBN 978-0-525-55861-3 . OCLC 1113410915 . {{cite book}}: CS1 maint: отсутствует местоположение издателя ( ссылка )
Сандерс, Нада Р. (2020). Человек-машина: человечество, машины и будущее предприятия . Джон Д. Вуд (Первое изд.). Нью-Йорк, Нью-Йорк. ISBN 978-0-429-00117-8 . OCLC 1119391268 . {{cite book}}: CS1 maint: отсутствует местоположение издателя ( ссылка )

Внешние ссылки

[1] Ямпольский, Роман В. (2015). «Искусственный суперинтеллект: футуристический подход». Чепмен и Холл/CRC : 33. ISBN 9781482234435 . ИСИ может варьироваться от лишь немного более способных, чем человек, до на несколько порядков более умных.

[FOOTNOTEBostrom2014Chapter_2-2] Jump up to: ^а ^б Бостром 2014 , Глава 2.

[FOOTNOTEBostrom201422-3] Бостром 2014 , с. 22.

[4] Герцель, Бен (2007). Общий искусственный интеллект . Спрингер. п. 8. ISBN 978-3-540-23733-4 . Сверхинтеллект может проявляться в различных формах: от чуть выше человеческого уровня до значительно превосходящих способностей.

[5] Пирс, Дэвид (2012), Иден, Амнон Х.; Мур, Джеймс Х.; Сёракер, Джонни Х.; Стейнхарт, Эрик (ред.), «Взрыв биоинтеллекта: как рекурсивно самоусовершенствующиеся органические роботы изменят свой собственный исходный код и загрузят наш путь к сверхинтеллекту полного спектра» , «Гипотезы сингулярности» , The Frontiers Collection, Берлин, Гейдельберг: Springer Berlin Гейдельберг, стр. 199–238, doi : 10.1007/978-3-642-32560-1_11 , ISBN 978-3-642-32559-5 , получено 16 января 2022 г.

[6] Гувейя, Стивен С., изд. (2020). «гл. 4, «Люди и интеллектуальные машины: коэволюция, слияние или замена?», Дэвид Пирс» . Эпоха искусственного интеллекта: исследование . Вернон Пресс. ISBN 978-1-62273-872-4 .

[FOOTNOTELegg2008135–137-7] Легг 2008 , стр. 135–137.

[8] «Исследователи Microsoft утверждают, что GPT-4 демонстрирует «искры» AGI» . Футуризм . 23 марта 2023 г. Проверено 13 декабря 2023 г.

[9] Маркус, Гэри; Дэвис, Эрнест (2023). «GPT-4 и далее: будущее искусственного интеллекта». Препринт arXiv arXiv:2303.10130 .

[FOOTNOTEChalmers20107-10] Чалмерс 2010 , с. 7.

[11] Каплан, Джаред; МакКэндлиш, Сэм; Хениган, Том; Браун, Том Б.; Шахматы, Бенджамин; Дитя, Ревон; Грей, Скотт; Рэдфорд, Алек; Ву, Джеффри; Амодей, Дарио (2020). «Законы масштабирования для моделей нейронного языка». Препринт arXiv arXiv:2001.08361 .

[12] Хассабис, Демис; Кумаран, Дхаршан; Саммерфилд, Кристофер; Ботвиник, Мэтью (2017). «Искусственный интеллект, основанный на нейробиологии». Нейрон . 95 (2): 245–258. дои : 10.1016/j.neuron.2017.06.011 .

[13] Гарсес, Артур д'Авила; Лэмб, Луис К. (2020). «Нейросимволический ИИ: 3-я волна». Препринт arXiv arXiv:2012.05876 .

[FOOTNOTEBostrom201459-14] Jump up to: ^а ^б Бостром 2014 , с. 59.

[15] Суцкевер, Илья (2023). «Краткая история масштабирования». Очередь АКМ . 21 (4): 31–43. дои : 10.1145/3595878.3605016 .

[16] Бубек, Себастьян; Чандрасекаран, Варун; Эльдан, Ронен; Герке, Джон; Хорвиц, Эрик; Камар, Эдже; Ли, Питер; Ли, Инь Тат; Ли, Юаньчжи; Лундберг, Скотт; Нори, Харша; Плита, Хамид; Прекуп, Дойна; Сунцов, Павел; Шривастава, Санджана; Тесслер, Кэтрин; Тянь, Цзяньфэн; Захир, Манзил (22 марта 2023 г.). «Искры общего искусственного интеллекта: ранние эксперименты с GPT-4» . arXiv .

[17] Маркус, Гэри (2020). «Следующее десятилетие в области искусственного интеллекта: четыре шага к надежному искусственному интеллекту». Препринт arXiv arXiv:2002.06177 .

[18] Рассел, Стюарт (2019). «Совместимость с человеком: искусственный интеллект и проблема управления». Викинг .

[19] Саган, Карл (1977). Драконы Эдема . Случайный дом.

[FOOTNOTEBostrom201437–39-20] Бостром 2014 , стр. 37–39.

[FOOTNOTEBostrom201439-21] Бостром 2014 , с. 39.

[FOOTNOTEBostrom201448–49-22] Бостром 2014 , стр. 48–49.

[23] Уоткинс, Дженнифер Х. (2007), Рынки прогнозов как механизм агрегирования коллективного разума

[FOOTNOTEBostrom201436–37,_42,_47-24] Бостром 2014 , стр. 36–37, 42, 47.

[25] Создатель, Мэг Хьюстон (13 июля 2006 г.). «AI@50: Первый опрос» . Архивировано из оригинала 13 мая 2014 г.

[FOOTNOTEMüllerBostrom20163–4,_6,_9–12-26] Мюллер и Бостром, 2016 , стр. 3–4, 6, 9–12.

[27] «Сроки развития искусственного интеллекта: чего эксперты в области искусственного интеллекта ожидают в будущем?» . Наш мир в данных . Проверено 9 августа 2023 г.

[28] «Управление сверхинтеллектом» . openai.com . Проверено 30 мая 2023 г.

[29] Вэнс, Эшли (19 июня 2024 г.). «У Ильи Суцкевера новый план безопасного суперинтеллекта» . Блумберг . Проверено 19 июня 2024 г.

[FOOTNOTEBostrom2014209–221-30] Jump up to: ^а ^б Бостром 2014 , стр. 209–221.

[FOOTNOTEChristiano2017-31] Кристиан 2017 .

[FOOTNOTEAnthropic2022-32] Антропный 2022 .

[FOOTNOTEOpenAI2018-33] OpenAI 2018 .

[FOOTNOTEBommasani2021-34] Боммасани 2021 .

[FOOTNOTEWei2022-35] Вэй 2022 .

[FOOTNOTEBrown2020-36] Браун 2020 .

[FOOTNOTEAlayrac2022-37] Алайрак 2022 .

[FOOTNOTEMarcus2022-38] Маркус 2022 .

[FOOTNOTEGood1965-39] Хороший 1965 год .

[FOOTNOTEBostrom2012-40] Бостром 2012 .

[FOOTNOTEOmohundro2008-41] Омохундро 2008 .

[FOOTNOTEGabriel2020-42] Габриэль 2020 .

[FOOTNOTERussell2019-43] Рассел 2019 . ошибка sfn: несколько целей (2×): CITEREFRussell2019 ( справка )

[FOOTNOTEGood196533-44] Хорошо 1965 , с. 33.

[FOOTNOTERussell2019137–160-45] Рассел 2019 , стр. 137–160. ошибка sfn: несколько целей (2×): CITEREFRussell2019 ( справка )

[FOOTNOTEYudkowsky2008-46] Юдковский 2008 .

[FOOTNOTEBostrom2002-47] Бостром 2002 .

[FOOTNOTERussell2019136-48] Рассел 2019 , с. 136. Ошибка sfn: несколько целей (2×): CITEREFRussell2019 ( справка )

[FOOTNOTEBostrom2014129–136-49] Бостром 2014 , стр. 129–136.

[FOOTNOTEBostrom2014136–143-50] Бостром 2014 , стр. 136–143.

[FOOTNOTEWallachAllen2008-51] Уоллах и Аллен 2008 .

[FOOTNOTEDafoe2018-52] Jump up to: ^а ^б Дефо 2018 .

[FOOTNOTEYampolskiy2020-53] Yampolskiy 2020 .

[FOOTNOTEBrooks2017-54] Брукс 2017 .

[FOOTNOTEBryson2019-55] Брайсон 2019 .

[FOOTNOTEBubeck2023-56] Бубек 2023 .

[FOOTNOTEWei20223–5-57] Вэй 2022 , стр. 3–5.

[FOOTNOTEOrd2020143–147-58] Орд 2020 , стр. 143–147.

[FOOTNOTENgo2022-59] Нго 2022 .

[FOOTNOTEMarcus20235–8-60] Маркус 2023 , стр. 5–8.

[ 1 ]

[ 2 ]

[ 3 ]

[ 4 ]

[ 5 ]

[ 6 ]

[ 7 ]

[ 8 ]

[ 9 ]

[ 10 ]

[ 11 ]

[ 12 ]

[ 13 ]

[ 14 ]

[ 15 ]

[ 16 ]

[ 17 ]

[ 18 ]

[ 19 ]

[ 20 ]

[ 21 ]

[ 22 ]

[ 23 ]

[ 24 ]

[ 25 ]

[ 26 ]

[ 27 ]

[ 28 ]

[ 29 ]

[ 30 ]

[ 31 ]

[ 32 ]

[ 33 ]

[ 34 ]

[ 35 ]

[ 36 ]

[ 37 ]

[ 38 ]

[ 39 ]

[ 40 ]

[ 41 ]

[ 42 ]

[ 43 ]

[ 44 ]

[ 45 ]

[ 46 ]

[ 47 ]

[ 48 ]

[ 49 ]

[ 50 ]

[ 51 ]

[ 52 ]

[ 53 ]

[ 54 ]

[ 55 ]

[ 56 ]

[ 57 ]

[ 58 ]

[ 59 ]

[ 60 ]

v т и Экзистенциальный риск от искусственного интеллекта
Концепции	ОИИ Выравнивание ИИ Контроль возможностей ИИ Безопасность ИИ Поглощение ИИ Консеквенциализм Эффективный акселерационизм Этика искусственного интеллекта Экзистенциальный риск от общего искусственного интеллекта Дружественный искусственный интеллект Инструментальная конвергенция Интеллектуальный взрыв Долгосрочность Машинная этика Страдание от рисков Суперинтеллект Технологическая особенность
Организации	Центр исследования выравнивания Центр безопасности искусственного интеллекта Центр прикладной рациональности Центр совместимого с человеком искусственного интеллекта Центр изучения экзистенциального риска ЭлеутерAI Институт будущего человечества Институт будущего жизни Гугл ДипМайнд Человечество+ Институт этики и новых технологий Леверхалм Центр будущего разведки Научно-исследовательский институт машинного интеллекта ОпенАИ
Люди	Скотт Александр Сэм Альтман Джошуа Бенджио Ник Бостром Пол Кристиано Эрик Дрекслер Сэм Харрис Стивен Хокинг и Хендрикс Джеффри Хинтон Билл Джой Шейн Легг Илон Маск Стив Омохундро Хью Прайс Мартин Рис Стюарт Дж. Рассел Ян Таллинн Макс Тегмарк Фрэнк Вильчек Roman Yampolskiy Элиэзер Юдковский
Другой	Заявление о риске исчезновения ИИ Совместимость с человеком Открытое письмо об искусственном интеллекте (2015) Наше последнее изобретение Пропасть Суперинтеллект: пути, опасности, стратегии Вы доверяете этому компьютеру? Закон об искусственном интеллекте
Категория