Центр безопасности искусственного интеллекта
 | |
| Формирование | 2022 |
|---|---|
| Штаб-квартира | Сан-Франциско , Калифорния |
Директор | и Хендрикс |
| Веб-сайт | www |
Центр безопасности искусственного интеллекта ( CAIS ) — некоммерческая организация, базирующаяся в Сан-Франциско , которая способствует безопасной разработке и внедрению искусственного интеллекта (ИИ). Работа CAIS включает исследования в области технической безопасности ИИ и этики ИИ , пропаганду и поддержку в развитии области исследований в области безопасности ИИ. [1] [2]
В мае 2023 года CAIS опубликовал заявление о риске исчезновения ИИ, подписанное сотнями профессоров ИИ, руководителями крупных компаний, занимающихся ИИ, и другими общественными деятелями. [3] [4] [5] [6] [7]
Исследования [ править ]
Исследователи CAIS опубликовали «Обзор катастрофических рисков ИИ», в котором подробно описаны сценарии рисков и стратегии их снижения. Описанные риски включают использование ИИ в автономной войне или для создания пандемий, а также возможности ИИ для обмана и взлома . [8] [9] Другая работа, проведенная в сотрудничестве с исследователями из Университета Карнеги-Меллон , описала автоматизированный способ обнаружения состязательных атак на большие языковые модели , которые обходят меры безопасности, подчеркивая неадекватность существующих систем безопасности. [10] [11]
Деятельность [ править ]
Другие инициативы включают в себя вычислительный кластер для поддержки исследований в области безопасности ИИ, онлайн-курс под названием «Введение в безопасность ML» и стипендию для профессоров философии для решения концептуальных проблем. [9]
См. также [ править ]
Ссылки [ править ]
- ^ «ИИ представляет собой угрозу исчезновения, — предупреждают технологические лидеры в открытом письме. Вот почему распространяется тревога» . США СЕГОДНЯ . 31 мая 2023 г.
- ^ «Наша миссия | ЦАИС» . www.safe.ai. Проверено 13 апреля 2023 г.
- ^ Хендрикс из Центра безопасности ИИ о рисках ИИ , Bloomberg Technology, 31 мая 2023 г.
- ^ Руз, Кевин (30 мая 2023 г.). «ИИ представляет собой «риск исчезновения», предупреждают лидеры отрасли» . Нью-Йорк Таймс . ISSN 0362-4331 . Проверено 3 июня 2023 г.
- ^ «Искусственный интеллект предупреждает о вымирании человечества – все, что вам нужно знать» . Независимый . 31 мая 2023 г. Проверено 3 июня 2023 г.
- ^ Ломас, Наташа (30 мая 2023 г.). «Альтман из OpenAI и другие гиганты искусственного интеллекта поддерживают предупреждение о риске «вымирания» передового искусственного интеллекта» . ТехКранч . Проверено 3 июня 2023 г.
- ^ Каслман, Терри (31 мая 2023 г.). «Выдающиеся лидеры ИИ предупреждают о «риске исчезновения» новых технологий» . Лос-Анджелес Таймс . Проверено 3 июня 2023 г.
- ^ Хендрикс, Дэн; Мажейка, Мантас; Вудсайд, Томас (2023). «Обзор катастрофических рисков ИИ». arXiv : 2306.12001 [ cs.CY ].
- ^ Jump up to: Перейти обратно: а б Шарфенберг, Дэвид (6 июля 2023 г.). «Дэн Хендрикс из Центра безопасности искусственного интеллекта надеется, что сможет предотвратить катастрофу» . Бостон Глобус . Проверено 9 июля 2023 г.
- ^ Мец, Кейд (27 июля 2023 г.). «Исследователи обнаруживают дыры в средствах контроля безопасности ChatGPT и других чат-ботов» . Нью-Йорк Таймс . Проверено 27 июля 2023 г.
- ^ «Универсальные и переносимые атаки на согласованные языковые модели» . llm-attacks.org . Проверено 27 июля 2023 г.
