Научно-исследовательский институт машинного интеллекта

Научно-исследовательский институт машинного интеллекта
Формирование	2000 ; 24 года назад
Тип	Некоммерческий научно-исследовательский институт
Цель	Исследование дружественного искусственного интеллекта и проблемы управления ИИ
Расположение	Беркли, Калифорния , США ;
Ключевые люди	Элиэзер Юдковский
Веб-сайт	интеллект .org

Исследовательский институт машинного интеллекта ( MIRI ), ранее называвшийся Институтом сингулярности искусственного интеллекта ( SIAI ), — это некоммерческий исследовательский институт, который с 2005 года занимается выявлением и управлением потенциальными экзистенциальными рисками, связанными с общим искусственным интеллектом . Работа MIRI сосредоточена на дружественном подходе искусственного интеллекта к проектированию систем и прогнозировании темпов развития технологий.

История [ править ]

В 2000 году Элиэзер Юдковски основал Институт сингулярности искусственного интеллекта при финансовой поддержке Брайана и Сабины Аткинс с целью ускорить развитие искусственного интеллекта (ИИ). ^[1]^[2]^[3] Однако Юдковский начал беспокоиться, что системы искусственного интеллекта, разработанные в будущем, могут стать сверхразумными и представлять опасность для человечества. ^[1] а в 2005 году институт переехал в Силиконовую долину и начал концентрироваться на способах выявления и управления этими рисками, которые в то время в значительной степени игнорировались учеными в этой области. ^[2]

Начиная с 2006 года, Институт организовал Singularity Summit для обсуждения будущего ИИ, включая его риски, первоначально в сотрудничестве со Стэнфордским университетом и при финансовой поддержке Питера Тиля . Газета San Francisco Chronicle описала первую конференцию как «вечеринку в районе залива, посвященную философии, вдохновленной технологиями, под названием трансгуманизм ». ^[4]^[5] В 2011 году ее офисы представляли собой четыре квартиры в центре Беркли. ^[6] В декабре 2012 года институт продал свое название, веб-домен и саммит Singularity Summit Университету Singularity . ^[7] а в следующем месяце получил название «Научно-исследовательский институт машинного интеллекта». ^[8]

В 2014 и 2015 годах общественный и научный интерес к рискам ИИ вырос, что привело к увеличению пожертвований на финансирование исследований в MIRI и аналогичных организациях. ^[3]^[9]^: 327

В 2019 году Open Philanthropy рекомендовала MIRI выделить грант на общую поддержку в размере примерно 2,1 миллиона долларов в течение двух лет. ^[10] В апреле 2020 года Open Philanthropy дополнила это грантом в размере 7,7 миллиона долларов на два года. ^[11]^[12]

В 2021 году Виталик Бутерин на несколько миллионов долларов . Эфириума пожертвовал MIRI ^[13]

и подход Исследования

Подход MIRI к выявлению и управлению рисками ИИ, возглавляемый Юдковски, в первую очередь касается создания дружественного ИИ, охватывая как первоначальную разработку систем ИИ, так и создание механизмов, гарантирующих, что развивающиеся системы ИИ останутся дружественными. ^[3]^[14]^[15]

Исследователи MIRI выступают за раннюю работу по обеспечению безопасности в качестве меры предосторожности. ^[16] Однако исследователи MIRI выразили скептицизм по поводу взглядов сторонников сингулярности, таких как Рэй Курцвейл, о том, что сверхинтеллект «не за горами». ^[14] MIRI профинансировала работу по прогнозированию в рамках инициативы под названием AI Impacts, которая изучает исторические случаи дискретных технологических изменений и разрабатывает новые меры относительной вычислительной мощности людей и компьютерного оборудования. ^[17]

MIRI придерживается принципов и целей движения эффективного альтруизма . ^[18]

Работы сотрудников MIRI [ править ]

Грейвс, Мэтью (8 ноября 2017 г.). «Почему нас должна беспокоить искусственный сверхинтеллект» . Скептик . Общество скептиков . Проверено 28 июля 2018 г.
ЛаВиктуар, Патрик; Фалленштейн, Беня; Юдковский, Элиэзер ; Барас, Михай; Кристиано, Пол; Херрешофф, Марчелло (2014). «Программное равновесие в дилемме узника посредством теоремы Лёба» . Мультиагентное взаимодействие без предварительной координации: материалы семинара AAAI-14 . Публикации АААИ.
Соарес, Нейт; Левинштейн, Бенджамин А. (2017). «Обман смерти в Дамаске» (PDF) . Семинар по формальной эпистемологии (FEW) . Проверено 28 июля 2018 г.
Соарес, Нейт; Фалленштейн, Беня; Юдковский, Элиэзер ; Армстронг, Стюарт (2015). «Исправляемость» . Семинары AAAI: Семинары на двадцать девятой конференции AAAI по искусственному интеллекту, Остин, Техас, 25–26 января 2015 г. Публикации АААИ.
Соареш, Нейт; Фалленштейн, Беня (2015). «Согласование сверхинтеллекта с интересами человека: программа технических исследований» (PDF) . В Миллере, Джеймсе; Ямпольский, Роман; Армстронг, Стюарт; и др. (ред.). Технологическая сингулярность: управление путешествием . Спрингер.
Юдковский, Элиезер (2008). «Искусственный интеллект как положительный и отрицательный фактор глобального риска» (PDF) . В Бостроме, Ник ; Чиркович, Милан (ред.). Глобальные катастрофические риски . Издательство Оксфордского университета. ISBN 978-0199606504 .
Тейлор, Джессика (2016). «Квантилизаторы: более безопасная альтернатива максимайзерам для ограниченной оптимизации» . Семинары на тридцатой конференции AAAI по искусственному интеллекту .
Юдковский, Элиезер (2011). «Сложные системы ценностей в дружественном искусственном интеллекте» (PDF) . Общий искусственный интеллект: 4-я Международная конференция AGI 2011, Маунтин-Вью, Калифорния, США, 3–6 августа 2011 г. Берлин: Шпрингер.

См. также [ править ]

Ссылки [ править ]

^ Jump up to: Перейти обратно: ^а ^б «МИРИ: Искусственный интеллект: опасность добрых намерений - Институт будущего жизни» . Институт будущего жизни . 11 октября 2015 г. Архивировано из оригинала 28 августа 2018 г. Проверено 28 августа 2018 г.
^ Jump up to: Перейти обратно: ^а ^б Хачадурян, Раффи. «Изобретение Судного дня» . Житель Нью-Йорка . Архивировано из оригинала 29 апреля 2019 г. Проверено 28 августа 2018 г.
^ Jump up to: Перейти обратно: ^а ^б ^с Уотерс, Ричард (31 октября 2014 г.). «Искусственный интеллект: машина против человека» . Файнэншл Таймс . Архивировано из оригинала 27 августа 2018 года . Проверено 27 августа 2018 г.
^ Абате, Том (2006). «Умнее тебя?» . Хроники Сан-Франциско . Архивировано из оригинала 11 февраля 2011 года . Проверено 12 октября 2015 г.
^ Абате, Том (2007). «Общественное собрание пересмотрит будущее искусственного интеллекта» . Хроники Сан-Франциско . Архивировано из оригинала 14 января 2016 года . Проверено 12 октября 2015 г.
^ Касте, Мартин (11 января 2011 г.). «Сингулярность: последнее изобретение человечества?» . Учитывая все обстоятельства, NPR . Архивировано из оригинала 28 августа 2018 года . Проверено 28 августа 2018 г.
^ «Пресс-релиз: Университет Сингулярности приобретает саммит Сингулярности» . Университет Сингулярности . 9 декабря 2012 года. Архивировано из оригинала 27 апреля 2019 года . Проверено 28 августа 2018 г.
^ «Пресс-релиз: Теперь мы являемся «Machine Intelligence Research Institute» (MIRI) — Научно-исследовательский институт машинного интеллекта» . Научно-исследовательский институт машинного интеллекта . 30 января 2013 г. Архивировано из оригинала 23 сентября 2018 г. Проверено 28 августа 2018 г.
^ Тегмарк, Макс (2017). Жизнь 3.0: Быть человеком в эпоху искусственного интеллекта . США: Кнопф . ISBN 978-1-101-94659-6 .
^ «Научно-исследовательский институт машинного интеллекта — Общая поддержка (2019)» . Открытый благотворительный проект . 2019-03-29. Архивировано из оригинала 08.10.2019 . Проверено 8 октября 2019 г.
^ «Научно-исследовательский институт машинного интеллекта — Общая поддержка (2020)» . Открытый благотворительный проект. 10 марта 2020 г. Архивировано из оригинала 13 апреля 2020 г.
^ Бенсингер, Роб (27 апреля 2020 г.). «Самый крупный грант MIRI на сегодняшний день!» . МИРИ. Архивировано из оригинала 27 апреля 2020 года . Проверено 27 апреля 2020 г.
^ Махешвари, Суяш (13 мая 2021 г.). «Создатель Ethereum Виталик Бутерин жертвует 1,5 миллиарда долларов в криптовалюте Индийскому фонду помощи COVID и другим благотворительным организациям» . МСН . Архивировано из оригинала 24 августа 2021 г. Проверено 23 января 2023 г.
^ Jump up to: Перейти обратно: ^а ^б ЛаФранс, Адриенн (2015). «Создание роботов с моралью выше, чем у людей» . Атлантика . Архивировано из оригинала 19 августа 2015 года . Проверено 12 октября 2015 г.
^ Рассел, Стюарт ; Норвиг, Питер (2009). Искусственный интеллект: современный подход . Прентис Холл. ISBN 978-0-13-604259-4 .
^ Сатиан, Санджена (4 января 2016 г.). «Самые важные философы нашего времени проживают в Кремниевой долине» . ОЗЫ . Архивировано из оригинала 29 июля 2018 года . Проверено 28 июля 2018 г.
^ Сюй, Джереми (2015). «Убедиться, что быстрый рост ИИ не является сюрпризом» . Обнаружить . Архивировано из оригинала 12 октября 2015 года . Проверено 12 октября 2015 г.
^ «ИИ и эффективный альтруизм» . Научно-исследовательский институт машинного интеллекта . 28 августа 2015 г. Архивировано из оригинала 08.10.2019 . Проверено 8 октября 2019 г.

Дальнейшее чтение [ править ]

Рассел, Стюарт; Дьюи, Дэниел; Тегмарк, Макс (зима 2015 г.). «Приоритеты исследований надежного и полезного искусственного интеллекта». Журнал ИИ . 36 (4): 6. arXiv : 1602.03506 . Бибкод : 2016arXiv160203506R . дои : 10.1609/aimag.v36i4.2577 .

Внешние ссылки [ править ]

Официальный сайт

[FLI2015-1] Jump up to: Перейти обратно: ^а ^б «МИРИ: Искусственный интеллект: опасность добрых намерений - Институт будущего жизни» . Институт будущего жизни . 11 октября 2015 г. Архивировано из оригинала 28 августа 2018 г. Проверено 28 августа 2018 г.

[NYER-2] Jump up to: Перейти обратно: ^а ^б Хачадурян, Раффи. «Изобретение Судного дня» . Житель Нью-Йорка . Архивировано из оригинала 29 апреля 2019 г. Проверено 28 августа 2018 г.

[Waters-3] Jump up to: Перейти обратно: ^а ^б ^с Уотерс, Ричард (31 октября 2014 г.). «Искусственный интеллект: машина против человека» . Файнэншл Таймс . Архивировано из оригинала 27 августа 2018 года . Проверено 27 августа 2018 г.

[4] Абате, Том (2006). «Умнее тебя?» . Хроники Сан-Франциско . Архивировано из оригинала 11 февраля 2011 года . Проверено 12 октября 2015 г.

[5] Абате, Том (2007). «Общественное собрание пересмотрит будущее искусственного интеллекта» . Хроники Сан-Франциско . Архивировано из оригинала 14 января 2016 года . Проверено 12 октября 2015 г.

[6] Касте, Мартин (11 января 2011 г.). «Сингулярность: последнее изобретение человечества?» . Учитывая все обстоятельства, NPR . Архивировано из оригинала 28 августа 2018 года . Проверено 28 августа 2018 г.

[7] «Пресс-релиз: Университет Сингулярности приобретает саммит Сингулярности» . Университет Сингулярности . 9 декабря 2012 года. Архивировано из оригинала 27 апреля 2019 года . Проверено 28 августа 2018 г.

[8] «Пресс-релиз: Теперь мы являемся «Machine Intelligence Research Institute» (MIRI) — Научно-исследовательский институт машинного интеллекта» . Научно-исследовательский институт машинного интеллекта . 30 января 2013 г. Архивировано из оригинала 23 сентября 2018 г. Проверено 28 августа 2018 г.

[life-9] Тегмарк, Макс (2017). Жизнь 3.0: Быть человеком в эпоху искусственного интеллекта . США: Кнопф . ISBN 978-1-101-94659-6 .

[10] «Научно-исследовательский институт машинного интеллекта — Общая поддержка (2019)» . Открытый благотворительный проект . 2019-03-29. Архивировано из оригинала 08.10.2019 . Проверено 8 октября 2019 г.

[11] «Научно-исследовательский институт машинного интеллекта — Общая поддержка (2020)» . Открытый благотворительный проект. 10 марта 2020 г. Архивировано из оригинала 13 апреля 2020 г.

[12] Бенсингер, Роб (27 апреля 2020 г.). «Самый крупный грант MIRI на сегодняшний день!» . МИРИ. Архивировано из оригинала 27 апреля 2020 года . Проверено 27 апреля 2020 г.

[13] Махешвари, Суяш (13 мая 2021 г.). «Создатель Ethereum Виталик Бутерин жертвует 1,5 миллиарда долларов в криптовалюте Индийскому фонду помощи COVID и другим благотворительным организациям» . МСН . Архивировано из оригинала 24 августа 2021 г. Проверено 23 января 2023 г.

[atlantic-14] Jump up to: Перейти обратно: ^а ^б ЛаФранс, Адриенн (2015). «Создание роботов с моралью выше, чем у людей» . Атлантика . Архивировано из оригинала 19 августа 2015 года . Проверено 12 октября 2015 г.

[aima-15] Рассел, Стюарт ; Норвиг, Питер (2009). Искусственный интеллект: современный подход . Прентис Холл. ISBN 978-0-13-604259-4 .

[Ozy-16] Сатиан, Санджена (4 января 2016 г.). «Самые важные философы нашего времени проживают в Кремниевой долине» . ОЗЫ . Архивировано из оригинала 29 июля 2018 года . Проверено 28 июля 2018 г.

[17] Сюй, Джереми (2015). «Убедиться, что быстрый рост ИИ не является сюрпризом» . Обнаружить . Архивировано из оригинала 12 октября 2015 года . Проверено 12 октября 2015 г.

[18] «ИИ и эффективный альтруизм» . Научно-исследовательский институт машинного интеллекта . 28 августа 2015 г. Архивировано из оригинала 08.10.2019 . Проверено 8 октября 2019 г.

[1]

[2]

[3]

[4]

[5]

[6]

[7]

[8]

[9]

[10]

[11]

[12]

[13]

[14]

[15]

[16]

[17]

[18]

v т и Экзистенциальный риск от искусственного интеллекта
Концепции	ОИИ Выравнивание ИИ Контроль возможностей ИИ Безопасность ИИ Поглощение ИИ Консеквенциализм Эффективный акселерационизм Этика искусственного интеллекта Экзистенциальный риск от общего искусственного интеллекта Дружественный искусственный интеллект Инструментальная конвергенция Интеллектуальный взрыв Долгосрочность Машинная этика Страдание от рисков Суперинтеллект Технологическая особенность
Организации	Центр исследования выравнивания Центр безопасности искусственного интеллекта Центр прикладной рациональности Центр совместимого с человеком искусственного интеллекта Центр изучения экзистенциального риска ЭлеутерAI Институт будущего человечества Институт будущего жизни Гугл ДипМайнд Человечество+ Институт этики и новых технологий Леверхалм Центр будущего разведки Научно-исследовательский институт машинного интеллекта ОпенАИ
Люди	Скотт Александр Сэм Альтман Джошуа Бенджио Ник Бостром Пол Кристиано Эрик Дрекслер Сэм Харрис Стивен Хокинг и Хендрикс Джеффри Хинтон Билл Джой Шейн Легг Илон Маск Стив Омохундро Хью Прайс Мартин Рис Стюарт Дж. Рассел Ян Таллинн Макс Тегмарк Фрэнк Вильчек Roman Yampolskiy Элиэзер Юдковский
Другой	Заявление о риске исчезновения ИИ Совместимость с человеком Открытое письмо об искусственном интеллекте (2015) Наше последнее изобретение Пропасть Суперинтеллект: пути, опасности, стратегии Вы доверяете этому компьютеру? Закон об искусственном интеллекте
Категория

v т и Эффективный альтруизм
Concepts	Aid effectiveness Charity assessment Demandingness objection Disability-adjusted life year Disease burden Distributional cost-effectiveness analysis Earning to give Equal consideration of interests Longtermism Marginal utility Moral circle expansion Psychological barriers to effective altruism Quality-adjusted life year Utilitarianism Venture philanthropy
Key figures	Sam Bankman-Fried Liv Boeree Nick Bostrom Hilary Greaves Holden Karnofsky William MacAskill Dustin Moskovitz Yew-Kwang Ng Toby Ord Derek Parfit Peter Singer Cari Tuna Eliezer Yudkowsky
Organizations	80,000 Hours Against Malaria Foundation All-Party Parliamentary Group for Future Generations Animal Charity Evaluators Animal Ethics Centre for Effective Altruism Centre for Enabling EA Learning & Research Center for High Impact Philanthropy Centre for the Study of Existential Risk Development Media International Evidence Action Faunalytics Fistula Foundation Future of Humanity Institute Future of Life Institute Founders Pledge GiveDirectly GiveWell Giving What We Can Good Food Fund The Good Food Institute Good Ventures The Humane League Mercy for Animals Machine Intelligence Research Institute Malaria Consortium Nuclear Threat Initiative Open Philanthropy Raising for Effective Giving Sentience Institute Unlimit Health Wild Animal Initiative
Focus areas	Biotechnology risk Climate change Cultured meat Economic stability Existential risk from artificial general intelligence Global catastrophic risk Global health Global poverty Immigration reform Intensive animal farming Land use reform Life extension Malaria prevention Mass deworming Neglected tropical diseases Suffering risks Wild animal suffering
Literature	Doing Good Better The End of Animal Farming Famine, Affluence, and Morality The Life You Can Save Living High and Letting Die The Most Good You Can Do Practical Ethics The Precipice Superintelligence: Paths, Dangers, Strategies What We Owe the Future
Events	Effective Altruism Global

v т и МеньшеНеправильно
People	Scott Alexander Robin Hanson Eliezer Yudkowsky
Organizations	Center for Applied Rationality Future of Humanity Institute Machine Intelligence Research Institute MetaMed
Works	Harry Potter and the Methods of Rationality Rationality: From AI to Zombies