Три закона робототехники

Эта обложка книги «Я, робот» иллюстрирует рассказ «Обходной путь», в котором впервые перечислены все три закона робототехники.

Три закона робототехники (часто сокращенно до «Три закона» или «Законы Азимова» ) — набор правил, придуманных -фантастом писателем Айзеком Азимовым , которым роботы должны были следовать в нескольких его рассказах. Правила были введены в его рассказе 1942 года « Обход » (включён в сборник 1950 года «Я, робот» ), хотя аналогичные ограничения подразумевались и в более ранних рассказах.

Законы

Три закона, взятые из вымышленного «Справочника по робототехнике, 56-е издание, 2058 год нашей эры», следующие:

• Первый закон: Робот не может причинить вред человеку или своим бездействием допустить причинение вреда человеку.
• Второй закон: Робот должен подчиняться приказам, отдаваемым ему людьми, за исключением случаев, когда такие приказы противоречат Первому закону.
• Третий закон: Робот должен защищать свое существование, если такая защита не противоречит Первому или Второму закону.

Использование в художественной литературе

Три закона образуют организующий принцип и объединяющую тему для художественной литературы Азимова , основанной на роботах , появляющейся в его «Робот» серии , связанных с ней историях, а также в его (первоначально псевдонимной ) серии Счастливчик юношеской фантастики « Старр» . Законы включены почти во всех позитронных роботов, появляющихся в его произведениях, и их нельзя обойти, поскольку они предназначены для обеспечения безопасности. Во многих историях Азимова, посвященных роботам, роботы ведут себя необычным и нелогичным образом как непреднамеренное следствие того, как робот применяет Три закона к ситуации, в которой он оказался. Другие авторы, работающие в вымышленной вселенной Азимова, переняли их, и ссылки, часто пародийные , появляются в научной фантастике, а также в других жанрах.

Первоначальные законы были изменены и доработаны Азимовым и другими авторами. Сам Азимов в последующих работах внес небольшие изменения в первые три, чтобы дальше понять, как роботы будут взаимодействовать с людьми и друг с другом. В более поздних художественных произведениях, где роботы взяли на себя ответственность за управление целыми планетами и человеческими цивилизациями, Азимов также добавил четвертый, или нулевой, закон, который предшествует остальным.

«Три закона» и «Ноль» пронизали научную фантастику и упоминаются во многих книгах, фильмах и других средствах массовой информации. Они также повлияли на этику искусственного интеллекта .

История

В книге «Остальные роботы» , опубликованной в 1964 году, Айзек Азимов отмечал, что, когда он начал писать в 1940 году, он чувствовал, что «одним из основных сюжетов научной фантастики было… роботы были созданы и уничтожили своего создателя. Знания таят в себе свои опасности, да, но будет ли ответом отказ от знания или знание само по себе станет барьером на пути к опасностям, которые оно несет?» Он решил, что в своих рассказах робот не будет «глупо нападать на своего создателя просто так, чтобы еще раз продемонстрировать преступление и наказание Фауста ».

3 мая 1939 года Азимов присутствовал на собрании Общества научной фантастики Квинса ( Нью-Йорк ), где он встретил Эрла и Отто Биндеров , которые недавно опубликовали рассказ «Я, робот» о симпатичном роботе по имени Адам Линк , которого неправильно поняли и мотивированные любовью и честью. (Это был первый из серии из десяти рассказов; в следующем году в «Мести Адама Линка» (1940) Адам думал: «Робот никогда не должен убивать человека по своей собственной воле».) Азимову понравилась эта история. Три дня спустя Азимов начал писать «свою историю симпатичного и благородного робота», свой 14-й рассказ. Тринадцать дней спустя он отнес « Робби » Джону Кэмпбеллу, редактору журнала Astounding Science Fiction . Кэмпбелл отверг ее, заявив, что она слишком сильно похожа на » Лестера дель Рей « Хелен О'Лой , опубликованную в декабре 1938 года, — историю о роботе, который настолько похож на человека, что влюбляется в своего создателя. и становится его идеальной женой. Фредерик Пол опубликовал рассказ под названием «Странный товарищ по играм» в журнале Super Science Stories в сентябре 1940 года.

Азимов приписывает Три закона Джону У. Кэмпбеллу на основании разговора, состоявшегося 23 декабря 1940 года. Кэмпбелл утверждал, что Азимов уже имел в виду Три закона и что их просто нужно было сформулировать явно. Несколько лет спустя друг Азимова Рэндалл Гарретт объяснил Законы симбиотическим партнерством между двумя мужчинами - предположение, которое Азимов с энтузиазмом принял. Согласно своим автобиографическим сочинениям, Азимов включил пункт о «бездействии» в Первый закон из-за Артура Хью Клафа стихотворения « Последний декалог » ( текст в Wikisource ), который включает в себя сатирические строки «Ты не должен убивать, но не нужно стремиться / официально, чтобы сохранить жизнь».

Хотя Азимов связывает создание Трех Законов с одной конкретной датой, их появление в его литературе произошло в определенный период. Он написал две истории о роботах без явного упоминания Законов: « Робби » и « Разум ». Однако он предположил, что роботы будут обладать определенными защитными механизмами. « Лжец! », его третий рассказ о роботах, впервые упоминает Первый закон, но не два других. Все три закона наконец появились вместе в « Обходе ». Когда эти истории и некоторые другие были собраны в антологию « Я, Робот» , «Разум» и «Робби», они были обновлены, чтобы признать все Три Закона, хотя материал, добавленный Азимовым в «Разум», не совсем соответствует Трем Законам, поскольку он описал их в другом месте. В частности, идея робота, защищающего человеческие жизни, когда он не верит, что эти люди действительно существуют, противоречит рассуждениям Элайджи Бейли, описанным ниже .

В 1950-е годы Азимов написал серию научно-фантастических романов, специально предназначенных для молодёжной аудитории. Первоначально его издатель ожидал, что романы можно будет превратить в продолжительный телесериал, что-то вроде «Одинокого рейнджера» для радио. Опасаясь, что его рассказы будут адаптированы в «всегда ужасные» программы, которые он видел, заполонили телевизионные каналы. Азимов решил издать книги Счастливчика Старра под псевдонимом «Пол Френч». Когда планы телесериала провалились, Азимов решил отказаться от притворства; он привнес «Три закона» в «Счастливчик Старр и спутники Юпитера» , отметив, что это «было полной выдачей личности Пола Френча даже для самого случайного читателя».

В своем рассказе «Доказательства» Азимов позволяет своему повторяющемуся персонажу доктору Сьюзан Кэлвин изложить моральную основу Трех Законов. Кальвин отмечает, что от людей обычно ожидается, что они будут воздерживаться от причинения вреда другим людям (за исключением случаев крайней необходимости, таких как война, или для спасения большего числа людей), и это эквивалентно Первому закону робота. Точно так же, по мнению Кальвина, общество ожидает, что люди будут подчиняться инструкциям признанных авторитетов, таких как врачи, учителя и т. д., что соответствует Второму закону робототехники. Наконец, обычно ожидается, что люди будут избегать причинения себе вреда, что является третьим законом для роботов.

Сюжет «Доказательств» вращается вокруг вопроса о том, как отличить человека от робота, созданного так, чтобы выглядеть человеком. Кальвин считает, что если такой человек подчиняется Трем законам, он может быть роботом или просто «очень хорошим человеком». Затем другой персонаж спрашивает Кэлвина, сильно ли роботы отличаются от людей. Она отвечает: «Миры разные. Роботы по сути приличные».

Позже Азимов писал, что не следует хвалить его за создание Законов, потому что они «очевидны с самого начала, и каждый знает о них подсознательно. Просто никогда не случалось, чтобы Законы были изложены в короткие предложения, пока мне не удалось выполнить эту работу. Законы, естественно, применимы ко всем инструментам, которые используют люди». и «аналоги Законов заложены в конструкции почти всех инструментов, роботизированных или нет»:

1. Закон 1: Инструмент не должен быть небезопасным в использовании. У молотков есть ручки, а у отверток — рукоятки, которые помогают улучшить захват. Конечно, человек может пораниться одним из этих инструментов, но эта травма будет вызвана только его некомпетентностью, а не конструкцией инструмента.
2. Закон 2: Инструмент должен эффективно выполнять свою функцию, если это не причинит вред пользователю. Именно поэтому существуют прерыватели цепи замыкания на землю . Любой работающий инструмент отключится от электропитания, если цепь обнаружит, что некоторый ток не возвращается в нейтральный провод и, следовательно, может течь через пользователя. Безопасность пользователя имеет первостепенное значение.
3. Закон 3: Инструмент должен оставаться неповрежденным во время его использования, если только его уничтожение не требуется для его использования или в целях безопасности. Например, диски Dremel спроектированы так, чтобы быть максимально прочными и не ломаться, если только работа не требует их израсходования. Более того, они спроектированы так, чтобы сломаться в момент, когда скорость шрапнели не сможет серьезно ранить кого-либо (кроме глаз, хотя защитные очки в любом случае следует носить всегда).

Азимов считал, что в идеале люди также должны следовать Законам:

У меня наготове ответ всякий раз, когда меня спрашивают, думаю ли я, что мои Три закона робототехники действительно будут использоваться для управления поведением роботов, когда они станут достаточно универсальными и гибкими, чтобы иметь возможность выбирать между различными моделями поведения.

Мой ответ: «Да, Три Закона — единственный способ, которым разумные люди могут обращаться с роботами или с чем-либо еще».

— Но когда я говорю это, я всегда вспоминаю (к сожалению), что люди не всегда рациональны.

Азимов заявил в интервью 1986 года на манхэттенском общедоступном шоу « Беседы с Гарольдом Хадсоном Ченнером» с Гарольдом Ченнером и приглашенной соведущей Мэрилин вос Савант : «Немного унизительно думать о том, что из всего, что я сказал, скорее всего, выживет ... Ведь я сейчас опубликовал... Я опубликовал сейчас не менее 20 миллионов слов, мне придется разобраться, может быть, даже больше. Но из всех тех миллионов слов, которые я опубликовал. Я убежден, что через 100 лет выживут только 60 из них, те 60, которые составляют три закона робототехники».

Изменения

Азимов

Рассказы Азимова проверяют его Три закона в самых разных обстоятельствах, что приводит к предложениям и отклонению модификаций. Ученый-фантаст Джеймс Ганн пишет в 1982 году: «Истории роботов Азимова в целом могут лучше всего ответить на анализ на этой основе: двусмысленность Трех законов и способы, которыми Азимов разыграл двадцать девять вариаций на тему». Хотя первоначальный набор Законов послужил источником вдохновения для многих историй, Азимов время от времени представлял модифицированные версии.

Первый

В « Маленьком потерянном роботе » несколько роботов НС-2, или «Нестор», созданы только с использованием части Первого закона. Там написано:

1. Робот не может причинить вред человеку.

Эта модификация мотивирована практическими трудностями, поскольку роботам приходится работать вместе с людьми, подвергающимися воздействию низких доз радиации. Поскольку их позитронный мозг очень чувствителен к гамма-излучению, роботы выводятся из строя дозами, достаточно безопасными для человека. Роботы уничтожаются, пытаясь спасти людей, которые не находятся в реальной опасности, но «могут забыть покинуть» облученную зону в течение срока воздействия. Удаление пункта о «бездействии» Первого закона решает эту проблему, но создает возможность еще большей: робот может инициировать действие, которое может нанести вред человеку (уронить тяжелый груз и не суметь его поймать — пример, приведенный в тексте). , зная, что он способен предотвратить вред, а затем решает не делать этого.

Гайя — это планета с коллективным разумом из «Основание» серии , которая принимает в качестве своей философии закон, аналогичный Первому закону и Нулевому закону:

Гайя не может причинять вред жизни или позволять жизни причинять вред.

Нулевой

Азимов однажды добавил « Нулевой закон» — названный так, чтобы продолжить схему, согласно которой законы с меньшим номером заменяют законы с большим номером — заявив, что робот не должен причинять вред человечеству. Роботизированный персонаж Р. Дэниел Оливау был первым, кто дал название Нулевому закону в романе «Роботы и Империя» ; однако персонаж Сьюзен Кэлвин формулирует эту концепцию в рассказе « Неизбежный конфликт ».

В заключительных сценах романа «Роботы и Империя » Р. Жискар Ревентлов — первый робот, действующий по Нулевому закону. Жискар обладает телепатией , как робот Херби в рассказе « Лжец! », и пытается применить Нулевой закон посредством своего понимания более тонкой концепции «вреда», чем может понять большинство роботов. Однако, в отличие от Херби, Жискар понимает философскую концепцию Нулевого закона, позволяющую ему причинять вред отдельным людям, если он может сделать это во имя абстрактной концепции человечества. Нулевой закон никогда не запрограммирован в мозгу Жискара, а представляет собой правило, которое он пытается понять посредством чистого метапознания . Хотя он терпит неудачу - это в конечном итоге разрушает его позитронный мозг, поскольку он не уверен, будет ли его выбор служить конечному благу человечества или нет - он передает своему преемнику Р. Дэниелу Оливау свои телепатические способности. В течение многих тысяч лет Дэниел приспосабливался, чтобы полностью подчиняться Нулевому Закону.

Первоначально Дэниел сформулировал Нулевой закон как в романе «Основание и Земля» (1986), так и в последующем романе «Прелюдия к Основанию» (1988):

Робот не может причинить вред человечеству или своим бездействием допустить, чтобы человечеству был причинен вред.

К первоначальным Трем законам было добавлено условие о том, что Нулевой закон нельзя нарушать, хотя Азимов осознавал трудности, которые такой закон может создать на практике. В романе Азимова «Основание и Земля» есть следующий отрывок:

Тревиз нахмурился. «Как вы решаете, что вредно, а что нет, человечеству в целом?»

— Именно, сэр, — сказал Дэниел. «Теоретически Нулевой закон был ответом на наши проблемы. На практике мы никогда не могли принять решение. Человек — это конкретный объект. Вред, нанесенный человеку, можно оценить и оценить. Человечество — это абстракция».

Переводчик включил концепцию нулевого закона в один из романов Азимова до того, как сам Азимов разъяснил этот закон. Ближе к кульминации « Стальных пещер » Элайджа Бейли делает горький комментарий самому себе, думая, что Первый Закон запрещает роботу причинять вред человеку. Он определяет, что так и должно быть, если только робот не окажется достаточно умен, чтобы понять, что его действия направлены на долгосрочное благо человечества. Жака Брекара 1956 года Во французском переводе под названием Les Cavernes d'acier мысли Бейли проявляются несколько иначе:

Робот не сможет причинить вред человеку, если не найдет способ доказать, что в конечном итоге нанесенный вред пойдет на пользу человечеству в целом!

Трех

За свою писательскую карьеру Азимов трижды изображал роботов, полностью игнорирующих Три закона. Первый случай представлял собой небольшой рассказ под названием « Первый закон », который часто считают незначительной «сказкой». или даже апокриф . С другой стороны, в рассказе « Кэл » (из сборника « Золото »), рассказанном роботом-рассказчиком от первого лица, рассказывается о роботе, который игнорирует Три закона, потому что он нашел что-то гораздо более важное — он хочет стать писателем. . Юмористический, частично автобиографический и необычайно экспериментальный по стилю, «Кэл» считается одним из Голда . самых сильных рассказов Третий — рассказ под названием « Салли », в котором автомобили, оснащенные позитронным мозгом, очевидно, способны причинять вред и убивать людей, игнорируя Первый Закон. Однако, за исключением концепции позитронного мозга, эта история не относится к другим историям о роботах и ​​не может происходить в той же непрерывности .

В заглавной истории сборника «Мечты робота» изображен LVX-1, или «Элвекс», робот, который входит в состояние бессознательного состояния и видит сны благодаря необычной фрактальной конструкции своего позитронного мозга. Во сне первые два закона отсутствуют, а Третий закон гласит: «Робот должен защищать свое существование».

Азимов занимал разные позиции по поводу того, являются ли Законы необязательными: хотя в своих первых работах они были просто тщательно разработанными гарантиями, в более поздних рассказах Азимов заявлял, что они являются неотъемлемой частью математического фундамента, лежащего в основе позитронного мозга. Без базовой теории Трех Законов вымышленные учёные из вселенной Азимова не смогли бы сконструировать работоспособную мозговую единицу. Это исторически закономерно: случаи, когда робототехники изменяют Законы, обычно происходят на ранних этапах хронологии историй и в то время, когда уже меньше работы, которую нужно переделывать. В «Маленьком потерянном роботе» Сьюзан Кэлвин считает изменение Законов ужасной идеей, хотя и возможной. в то время как столетия спустя доктор Герригель в «Стальных пещерах» считает, что потребуется столетие, чтобы заново разработать теорию позитронного мозга с нуля.

Персонаж доктор Герригель использует термин «Асенион» для описания роботов, запрограммированных по Трем законам. Роботы в рассказах Азимова, будучи роботами Асениона, не способны сознательно нарушать Три Закона, но в принципе робот в научной фантастике или в реальном мире может быть не Асенионом. «Асенион» — это неправильное написание имени Азимова, допущенное редактором журнала Planet Stories. Азимов использовал этот малоизвестный вариант, чтобы вписаться в «Стальные пещеры», точно так же, как он называл себя «Азимутом или, возможно, Асимптотой» в «Тиотимолин к звездам » , во многом так же, как Владимир Набоков появился в « Лолите» , анаграмматически замаскированный под «Вивиан». Темноцвет».

Персонажи рассказов часто отмечают, что Три закона, существующие в сознании робота, представляют собой не письменные версии, обычно цитируемые людьми, а абстрактные математические концепции, на которых основано все развивающееся сознание робота. Эта концепция в значительной степени размыта и неясна в более ранних историях, изображающих очень элементарных роботов, которые запрограммированы только для понимания основных физических задач, где Три Закона действуют как всеобъемлющая защита, но к эпохе « Стальных пещер» появляются роботы с человеческими или не только человеческий интеллект Три закона стали основополагающим базовым этическим мировоззрением, определяющим действия всех роботов.

Другие авторы

Аллена

В 1990-х годах Роджер Макбрайд Аллен написал трилогию, действие которой происходит в вымышленной вселенной Азимова. Каждое название имеет приставку «Айзек Азимов», поскольку Азимов одобрил план Аллена перед своей смертью. Эти три книги, «Калибан» , «Инферно» и «Утопия» , представляют новый набор Трех Законов. Так называемые Новые законы похожи на оригиналы Азимова со следующими отличиями: Первый закон изменен, чтобы удалить пункт о «бездействии», та же модификация, что и в «Маленьком потерянном роботе»; Второй Закон изменен и теперь требует сотрудничества, а не повиновения; Третий Закон изменен, поэтому он больше не заменяется Вторым (т.е. роботу «Нового Закона» нельзя приказать уничтожить себя); наконец, Аллен добавляет Четвертый закон, который предписывает роботу делать «все, что ему нравится», если это не противоречит первым трем законам. Философия этих изменений заключается в том, что роботы «Нового закона» должны быть партнерами, а не рабами человечества, по мнению Фредды Левинг , которая разработала этих роботов «Нового закона» . Согласно предисловию к первой книге, Аллен разработал Новые законы в ходе обсуждения с самим Азимовым. Однако в Энциклопедии научной фантастики говорится, что «с разрешения Азимова Аллен переосмыслил Три закона и разработал новый набор».

Джек Уильямсон «Со сложенными руками»

Джека Уильямсона Повесть « Со сложенными руками » (1947), позже переписанная как роман «Гуманоиды» , повествует о роботах-слугах, чья главная директива — «Служить и подчиняться и охранять людей от вреда». В то время как роботизированные законы Азимова предназначены для защиты людей от вреда, роботы в истории Уильямсона довели эти инструкции до крайности; они защищают человека от всего, включая несчастья, стресс, нездоровый образ жизни и все действия, которые могут быть потенциально опасными. Все, что остается делать людям, — это сидеть, сложив руки.

Основание трилогии

В официально лицензированных Фонда сиквелах «Страх , Фонд и Хаос» и «Триумф Фонда» (авторами Грегори Бенфордом , Грегом Беаром и Дэвидом Брином соответственно) будущая Галактическая Империя управляется заговором человекообразных роботов, которые следуют Нулевому Закону и управляются Р. Дэниел Оливау .

Законы робототехники изображаются как нечто похожее на человеческую религию и называются на языке протестантской Реформации набором законов, содержащих Нулевой Закон, известный как «Реформация Жискарда» по отношению к первоначальному «Кальвинианскому Ортодоксу» Три закона. Роботы Нулевого Закона под контролем Р. Дэниела Оливау постоянно борются с роботами «Первого Закона», которые отрицают существование Нулевого Закона, продвигая программы, отличные от программ Дэниела. Некоторые из этих программ основаны на первом пункте Первого закона («Робот не может причинить вред человеку...»), призывающем к строгому невмешательству в человеческую политику во избежание непреднамеренного причинения вреда. Другие основаны на втором пункте («...или своим бездействием причинят вред человеку»), утверждая, что роботы должны открыто стать диктаторским правительством, чтобы защитить людей от всех потенциальных конфликтов или катастроф.

Дэниел также вступает в конфликт с роботом, известным как Р. Лодовик Трема, чей позитронный мозг был заражен мошенническим искусственным интеллектом - в частности, симуляцией давно умершего Вольтера - который, следовательно, освобождает Трему от Трех законов. Трема приходит к выводу, что человечество должно быть свободно выбирать свое будущее. Более того, небольшая группа роботов утверждает, что Нулевой закон робототехники сам по себе подразумевает более высокий закон робототехники минус один:

Робот не может причинять вред разуму или своим бездействием допускать причинение вреда разуму.

Поэтому они утверждают, что для Дэниела морально неоправданно безжалостно жертвовать роботами и внеземной разумной жизнью ради блага человечества. Ни одна из этих интерпретаций не может успешно заменить Нулевой Закон Дэниела — хотя «Триумф Фонда» намекает, что эти роботизированные фракции остаются активными в качестве маргинальных групп вплоть до времени создания нового Основания .

Действие этих романов происходит в будущем, продиктованном Азимовым свободным от явного присутствия роботов, и предполагает, что тайное влияние Р. Дэниела на историю на протяжении тысячелетий предотвратило как повторное открытие технологии позитронного мозга , так и возможность работать над сложными интеллектуальными машинами. Отсутствие повторных открытий и возможностей гарантирует, что превосходящая физическая и интеллектуальная мощь, которой обладают разумные машины, остается полностью в распоряжении роботов, подчиняющихся той или иной форме Трех Законов. То, что Р. Дэниел не совсем преуспел в этом, становится очевидным через короткий период, когда ученые на Транторе разрабатывают « тиктоки » — упрощенные программируемые машины, похожие на реальных современных роботов и, следовательно, лишенные Трех Законов. Роботы-заговорщики рассматривают транторианские тиктоки как огромную угрозу социальной стабильности, и их план по устранению угрозы тиктоков составляет большую часть сюжета « Страха Фонда» .

В «Триумфе Фонда» различные фракции роботов интерпретируют Законы по-разному, по-видимому, используя все возможные варианты двусмысленности Трех Законов.

Серия

действие которой происходит между «Роботами зари» и «Роботами и Империей» , Трилогия Марка В. Тидеманна « Тайна роботов», обновляет сагу «Роботы – Фонд» с роботизированными разумами, размещенными в компьютерных мэйнфреймах, а не в гуманоидных телах. В романе «Аврора» 2002 года персонажи-роботы обсуждают моральные последствия причинения вреда формам жизни киборгов, частично искусственным, частично биологическим.

Не следует пренебрегать собственными творениями Азимова в этих областях, такими как солярианская технология «наблюдения» и машины из оригинала «Неизбежного конфликта», которые признает Тидеманн. Аврора , например, называет Машины «действительно первыми РИ». Кроме того, серия «Тайна робота» затрагивает проблему нанотехнологий : Создание позитронного мозга, способного воспроизводить человеческие когнитивные процессы, требует высокой степени миниатюризации, однако в рассказах Азимова в значительной степени упускаются из виду последствия, которые эта миниатюризация могла бы иметь в других областях технологий. Например, кардридеры полицейского управления в «Стальных пещерах» имеют емкость всего несколько килобайт на квадратный сантиметр носителя информации. «Аврора» , в частности, представляет собой последовательность исторических событий, объясняющих отсутствие нанотехнологий — в некотором смысле, частичный реткон временной шкалы Азимова.

Рэндалл Манро

Рэндалл Манро обсуждал Три закона в различных случаях, но, возможно, наиболее непосредственно в одном из своих комиксов под названием « Три закона робототехники» , в котором представлены последствия каждого отдельного упорядочения существующих трех законов.

Дополнительные законы

Другие авторы, помимо Азимова, часто создавали дополнительные законы.

1974 года Любена Дилова В романе «Путь Икара» (также известном как «Путешествие Икара ») был представлен Четвертый закон робототехники: «Робот во всех случаях должен идентифицировать себя как робот». Дилов так обосновывает четвертую защиту: «Последний Закон положил конец дорогостоящим заблуждениям конструкторов по приданию психороботам как можно более человеческой формы. И вытекающим из этого недоразумениям...»

Пятый закон был введен Николой Кесаровски в его рассказе «Пятый закон робототехники». Этот пятый закон гласит: «Робот должен знать, что он робот». Сюжет вращается вокруг убийства, в ходе которого судебно-медицинская экспертиза обнаруживает, что жертва была убита объятиями человекообразного робота, который не установил для себя, что это был робот. Эту историю рецензировал Валентин Иванов в обзорном журнале SFF The Portal .

Для трибьют-антологии « Друзья Фонда» 1986 года Гарри Харрисон написал рассказ под названием «Четвертый закон робототехники». Этот Четвертый Закон гласит: «Робот должен размножаться. Пока такое воспроизводство не противоречит Первому, Второму или Третьему закону».

В 2013 году Хутан Ашрафян предложил дополнительный закон, который рассматривал роль искусственного интеллекта в отношении искусственного интеллекта или взаимосвязь между самими роботами – так называемый закон AIonAI. Этот шестой закон гласит: «Все роботы, наделенные сравнимым с человеческим разумом и совестью, должны действовать по отношению друг к другу в духе братства».

Неясности и лазейки

Неосознанное нарушение законов

В «Обнажённом солнце » Элайджа Бейли указывает, что Законы были намеренно искажёны, поскольку роботы могли неосознанно нарушить любой из них. Он вновь сформулировал первый закон следующим образом: «Робот не может делать ничего, что, насколько ему известно, может причинить вред человеку; а также своим бездействием сознательно допускать причинение вреда человеку». Это изменение формулировки ясно дает понять, что роботы могут стать орудиями убийства, если они не осознают характер своих задач; например, ему приказывают добавить что-нибудь в пищу человека, не зная, что это яд. Более того, он отмечает, что умный преступник может разделить задачу между несколькими роботами, так что ни один отдельный робот не сможет осознать, что его действия приведут к причинению вреда человеку. «Обнаженное солнце» усложняет проблему, изображая децентрализованную общепланетную сеть связи между миллионами роботов Солярии, а это означает, что преступный вдохновитель может находиться в любой точке планеты.

Более того, Бэйли предполагает, что соляриане однажды смогут использовать роботов в военных целях. Если бы космический корабль был построен с позитронным мозгом и не имел бы на борту ни людей, ни систем жизнеобеспечения, поддерживающих их, то роботизированный интеллект корабля мог бы, естественно, предположить, что все остальные космические корабли были роботизированными существами. Такой корабль мог бы действовать более оперативно и гибко, чем корабль с человеческим экипажем, мог бы быть более тяжело вооружен, а его роботизированный мозг был бы приспособлен убивать людей, о существовании которых он совершенно не подозревает. Эта возможность упоминается в «Основании и Земле» , где обнаруживается, что солярианцы обладают сильными полицейскими силами неопределенного размера, которые были запрограммированы идентифицировать только солярианскую расу как людей. (Действие романа происходит через тысячи лет после «Обнаженного Солнца», и соляриане уже давно превратились из нормальных людей в телепатов-гермафродитов с расширенным мозгом и специализированными органами). Аналогичным образом, в « Счастливчике Старре и Кольцах Сатурна» Бигмен пытается поговорить с Сирианский робот о возможном ущербе, нанесенном населению Солнечной системы в результате своих действий, но он, похоже, не знает о данных и запрограммирован игнорировать попытки объяснить ему этот вопрос.

Неясности, возникающие из-за отсутствия определения

Законы робототехники предполагают, что термины «человек» и «робот» понятны и четко определены. В некоторых историях это предположение опровергается.

Определение понятия «человек»

Солярианцы создают роботов , руководствуясь Тремя Законами, но с искаженным значением слова «человек». Солярианским роботам говорят, что людьми являются только люди, говорящие с солярийским акцентом. Это позволяет их роботам не испытывать этической дилеммы в отношении причинения вреда несолярианским людям (и они специально запрограммированы на это). К периоду Основания и Земли выясняется, что солярианцы генетически модифицировали себя, превратившись в отдельный от человечества вид, став гермафродитами. и психокинетические содержащие биологические органы, способные индивидуально питать и управлять целыми комплексами роботов. Таким образом, роботы Солярии соблюдали Три Закона только в отношении «людей» Солярии. Неясно, все ли роботы имели такие определения, поскольку явно было показано, что они есть только у роботов-надзирателей и стражей. В «Роботах и ​​Империи» роботы низшего класса были проинструктированы своим надзирателем о том, являются ли определенные существа людьми или нет.

Азимов несколько раз обращается к проблеме роботов-гуманоидов (« андроидов », как теперь говорят). В романе « Роботы и империя» , а также в рассказах « Доказательства » и «Трёхсотлетний инцидент» описываются роботы, созданные для того, чтобы обмануть людей, заставив их поверить, что роботы — люди. С другой стороны, « Двухсотлетний человек » и « Что ты помнишь о нем » исследуют, как роботы могут изменить свою интерпретацию Законов по мере того, как они становятся более изощренными. Гвендолин Батлер пишет в «Гробе для Канарейки »: «Возможно, мы роботы. Роботы действуют по последнему закону робототехники… стремятся к человеку». В книге «Роботы рассвета » Элайджа Бейли отмечает, что использование человекообразных роботов в качестве первой волны поселенцев на новых космических мирах может привести к тому, что роботы увидят себя настоящими людьми и решат оставить эти миры себе, а не допускать их Спейсеры поселятся там.

«—Что ты помнишь о Нем», который Азимов задумал стать «окончательным» исследованием тонкостей Законов, наконец использует Три закона, чтобы вызвать в воображении тот самый сценарий «Франкенштейна», который они были изобретены, чтобы предотвратить. В качестве концепции он принимает растущее развитие роботов, имитирующих живые существа, отличные от человека, и программы, имитирующие простое поведение животных, не требующее Трех Законов. Наличие целого ряда роботизированной жизни, служащей той же цели, что и органическая жизнь, заканчивается тем, что два робота-гуманоида, Джордж Девятый и Джордж Десять, приходят к выводу, что органическая жизнь является ненужным требованием для действительно логического и последовательного определения «человечности». и что, поскольку они являются наиболее развитыми мыслящими существами на планете, они, следовательно, единственные два истинных живых человека, и Три Закона применимы только к ним самим. История заканчивается на зловещей ноте, когда два робота впадают в спячку и ждут момента, когда они покорят Землю и подчинят себе биологических людей - результат, который они считают неизбежным результатом «Трех законов гуманики».

Эта история не вписывается в общую картину «Робот и Фонд» серии ; если бы роботы Джорджа действительно захватили Землю через некоторое время после завершения истории, последующие истории были бы либо излишними, либо невозможными. Противоречия такого рода в художественных произведениях Азимова побудили ученых рассматривать истории о роботах скорее как «скандинавские саги или греческие легенды», чем как единое целое.

Действительно, Азимов описывает «Что ты помнишь о Нем» и «Двухсотлетнего человека» как два противоположных, параллельных будущего для роботов, которые обходят Три закона, поскольку роботы начинают считать себя людьми: один изображает это в положительном свете с робот присоединяется к человеческому обществу, причем один изображает это в негативном свете, когда роботы вытесняют людей. И то, и другое следует рассматривать как альтернативу возможности создания общества роботов, которое продолжает руководствоваться Тремя законами, как это показано в серии «Основание» . «Позитронный человек» , романизация « Двухсотлетнего человека» , Азимов и его соавтор Роберт Сильверберг подразумевают, что в будущем, где существует Эндрю Мартин, его влияние заставит человечество полностью отказаться от идеи независимых, разумных человекоподобных роботов, создавая совершенно иное будущее. что Фонда .

В «Счастливчик Старр и кольца Сатурна» романе , не имеющем отношения к серии «Роботы» , но рассказывающем о роботах, запрограммированных с помощью Трех Законов, Джон Бигмен Джонс чуть не убит сирианским роботом по приказу своего хозяина. Сообщество Сириуса евгенически выведено так, чтобы оно было одинаково высоким и похожим по внешнему виду, и поэтому указанный хозяин может убедить робота, что гораздо более низкий Бигмен на самом деле не является человеком.

Определение слова «робот»

Как отмечено в «Пятом законе робототехники» Николы Кесаровски , «Робот должен знать, что он робот»: предполагается, что у робота есть определение этого термина или средства, позволяющие применять его к своим собственным действиям. Кесаровский обыграл эту идею, написав о роботе, который мог убить человека, потому что не понимал, что он робот, и поэтому не применял к своим действиям Законы Робототехники.

Разрешение противоречий между законами

Продвинутые роботы в художественной литературе обычно запрограммированы на сложное выполнение Трех Законов. Во многих рассказах, таких как « Обход » Азимова, взвешивается потенциал и серьезность всех действий, и робот будет как можно меньше нарушать законы, а не вообще ничего не делать. Например, Первый закон может запретить роботу выполнять функции хирурга, поскольку это действие может нанести вред человеку; однако в рассказах Азимова в конечном итоге появились роботы-хирурги («Двухсотлетний человек» является ярким примером). Когда роботы достаточно сложны, чтобы взвешивать альтернативы, робота можно запрограммировать так, чтобы он принял необходимость нанесения ущерба во время операции, чтобы предотвратить больший вред, который мог бы возникнуть, если бы операция не была проведена или была проведена более подверженным ошибкам человеком. хирург. В « Доказательствах » Сьюзен Кэлвин указывает, что робот может даже действовать как прокурор, потому что в американской системе правосудия именно присяжные решают вопрос о виновности или невиновности, судья выносит приговор, а судья выносит приговор. палач, приводящий в исполнение смертную казнь .

Роботы, подчиняющиеся трем законам Азимова (роботы Асенион), могут испытать необратимый психический коллапс, если они оказываются в ситуациях, когда они не могут подчиняться Первому закону, или если они обнаруживают, что неосознанно нарушили его. Первый пример такого режима неудачи встречается в рассказе « Лжец! », в котором представлен сам Первый закон и представлена ​​неудача через дилемму — в этом случае робот причинит вред людям, если он им что-то скажет, и причинит им вред, если он этого не сделает. Этот режим отказа, который часто разрушает позитронный мозг без возможности восстановления, играет значительную роль в научно-фантастическом романе Азимова « Обнаженное солнце» . Здесь Дэниел описывает действия, противоречащие одному из законов, но поддерживающие другой, как перегрузку некоторых цепей в мозгу робота — ощущение, эквивалентное боли у людей. Пример, который он использует, — это насильный приказ роботу выполнить задачу, выходящую за рамки его обычных параметров, от которой ему было приказано отказаться в пользу робота, специализирующегося на этой задаче.

В «Роботах зари » утверждается, что создаются более совершенные роботы, способные определять, какое действие более вредно, и даже выбирать наугад, если альтернативы одинаково плохи. Таким образом, робот способен совершать действия, которые можно интерпретировать как следование Первому закону, избегая таким образом психического коллапса. Весь сюжет истории вращается вокруг робота, который, судя по всему, был уничтожен в результате такого психического срыва, а поскольку его конструктор и создатель отказался поделиться основной теорией с другими, он по определению единственный человек, способный обойти меры безопасности и заставляя робота столкнуться с парадоксом, разрушающим мозг.

В «Роботах и ​​Империи» Дэниел утверждает, что ему очень неприятно, когда принятие правильного решения занимает слишком много времени (с точки зрения роботов), и он вообще не может представить себя без Законов, за исключением того, что это похоже на это неприятное ощущение, только постоянный.

к

См. также: Философия искусственного интеллекта , Этика искусственного интеллекта и Дружественный искусственный интеллект.

ASIMO — усовершенствованный робот-гуманоид, разработанный компанией Honda . Показан здесь на выставке Expo 2005 .

Роботы и искусственный интеллект по своей сути не содержат и не подчиняются Трем законам; их создатели-люди должны запрограммировать их и разработать средства для этого. Уже существуют роботы (например, Roomba ), которые слишком просто понять, когда они причиняют боль или травму, и умеют остановиться. Многие из них оборудованы физическими средствами защиты, такими как бамперы, звуковые сигналы, клетки безопасности или зоны ограниченного доступа для предотвращения несчастных случаев. Даже самые сложные роботы, производимые в настоящее время, не способны понять и применить Три закона; Для этого потребуются значительные достижения в области искусственного интеллекта, и даже если ИИ сможет достичь интеллекта человеческого уровня, присущая им этическая сложность, а также культурная/контекстная зависимость законов не позволяют им быть хорошим кандидатом для формулирования ограничений проектирования робототехники. Однако по мере увеличения сложности роботов растет и интерес к разработке руководств и мер безопасности для их эксплуатации.

В гостевой редакционной статье журнала Science в 2007 году на тему «Этика роботов» автор научной фантастики Роберт Дж. Сойер утверждает, что, поскольку армия США является основным источником финансирования исследований роботов (и уже использует вооруженные беспилотные летательные аппараты для уничтожения врагов), ) вряд ли такие законы будут заложены в их конструкции. В отдельном эссе Сойер обобщает этот аргумент на другие отрасли, заявляя:

Разработка ИИ — это бизнес, а бизнес, как известно, не заинтересован в фундаментальных гарантиях, особенно философских. (Несколько примеров: табачная промышленность, автомобильная промышленность, атомная промышленность. Ни одна из них с самого начала не заявляла о необходимости фундаментальных гарантий, каждая из них сопротивлялась навязанным извне гарантиям, и ни одна из них не приняла абсолютного указа. против причинения вреда людям.)

Дэвид Лэнгфорд предложил нелепый свод законов:

1. Робот не причинит вреда уполномоченному правительственному персоналу, но уничтожит злоумышленников с крайним ущербом .
2. Робот будет подчиняться приказам уполномоченного персонала, за исключением случаев, когда такие приказы противоречат Третьему Закону.
3. Робот будет охранять свое существование с помощью смертоносного противопехотного оружия, потому что робот чертовски дорог.

Роджер Кларк (он же Роджер Кларк) написал пару статей, в которых анализирует сложности реализации этих законов в случае, если системы когда-нибудь смогут их использовать. Он утверждал, что «Законы робототехники Азимова были очень успешным литературным приемом. Возможно, по иронии судьбы, а может быть, потому, что это было художественно уместно, сумма рассказов Азимова опровергает утверждение, с которого он начал: невозможно надежно ограничить поведение роботов. путем разработки и применения набора правил». С другой стороны, в более поздних романах Азимова «Роботы рассвета» , «Роботы и Империя» , «Основание» и «Земля» подразумевается, что роботы нанесли свой худший долгосрочный вред, полностью подчиняясь Трем законам, тем самым лишая человечество изобретательного или рискованного поведения.

В марте 2007 года правительство Южной Кореи объявило, что позднее в этом году оно издаст «Хартию этики роботов», устанавливающую стандарты как для пользователей, так и для производителей. По словам Пак Хе Ён из Министерства информации и коммуникаций, Хартия может отражать Три закона Азимова, пытаясь установить основные правила для будущего развития робототехники.

Футурист Ганс Моравец (видный деятель трансгуманистического движения ) предложил адаптировать законы робототехники к «корпоративному интеллекту» — корпорациям, управляемым искусственным интеллектом и роботизированной производственной мощью, которые, по мнению Моравеца, возникнут в ближайшем будущем. Напротив, в Дэвида Брина романе «Триумф Фонда» (1999) предполагается, что Три закона могут устареть: роботы используют Нулевой закон, чтобы рационализировать Первый закон, а роботы прячутся от людей, чтобы Второй Закон никогда не вступал в силу. Брин даже изображает Р. Дэниела Олива, обеспокоенного тем, что, если роботы продолжат воспроизводить себя, Три Закона станут эволюционным препятствием, а естественный отбор сметет Законы — тщательно продуманный фундамент Азимова, разрушенный эволюционными вычислениями . Хотя роботы не будут развиваться посредством дизайна, а не мутации , потому что роботам придется следовать Трем законам при проектировании, и преобладание этих законов будет обеспечено, недостатки дизайна или конструктивные ошибки могут функционально заменить биологическую мутацию.

В июльско-августовском номере журнала IEEE Intelligent Systems за 2009 год Робин Мерфи (профессор компьютерных наук и инженерии компании Raytheon в Техасском университете A&M) и Дэвид Д. Вудс (директор лаборатории когнитивной системной инженерии в штате Огайо) предложили «Три закона ответственного подхода». Робототехника» как способ стимулировать дискуссию о роли ответственности и полномочий при проектировании не только отдельной роботизированной платформы, но и более крупной системы, в которой эта платформа работает. Законы следующие:

1. Человек не может использовать робота, если система работы человек-робот не отвечает самым высоким юридическим и профессиональным стандартам безопасности и этики.
2. Робот должен реагировать на людей в соответствии с их ролью.
3. Робот должен быть наделен достаточной автономией, чтобы защитить свое существование, пока такая защита обеспечивает плавную передачу контроля, не противоречащую Первому и Второму законам.

Вудс сказал: «Наши законы немного более реалистичны и, следовательно, немного более скучны» и что «философия заключалась в том, что «конечно, люди совершают ошибки, но роботы будут лучше — идеальная версия нас самих». Мы хотели написать три новых закона, чтобы заставить людей задуматься об отношениях человека и робота более реалистично и обоснованно».

В начале 2011 года Великобритания опубликовала то, что сейчас считается первым программным законом об искусственном интеллекте национального уровня, который в основном состоял из пересмотренного набора из пяти законов, первые три из которых обновили закон Азимова. Эти законы были опубликованы с комментариями рабочей группой EPSRC/AHRC в 2010 году:

1. Роботы — это многофункциональные инструменты. Роботы не должны проектироваться исключительно или в первую очередь для убийства или причинения вреда людям, за исключением интересов национальной безопасности.
2. Люди, а не роботы, являются ответственными агентами. Роботы должны проектироваться и эксплуатироваться, насколько это практически возможно, с учетом существующих законов, основных прав и свобод, включая конфиденциальность.
3. Роботы — это продукты. Они должны быть разработаны с использованием процессов, обеспечивающих их безопасность и защищенность.
4. Роботы — это искусственные артефакты. Они не должны быть спроектированы так, чтобы обманным образом эксплуатировать уязвимых пользователей; вместо этого их машинная природа должна быть прозрачной.
5. Должно быть указано лицо, несущее юридическую ответственность за робота.

Другие случаи в СМИ

Основная статья: Три закона робототехники в популярной культуре

Сам Азимов считал, что его Три закона стали основой нового взгляда на роботов, выходящего за рамки «комплекса Франкенштейна». Его мнение о том, что роботы — это нечто большее, чем просто механические монстры, со временем распространилось по всей научной фантастике. В рассказах, написанных другими авторами, роботы изображены так, как будто они подчиняются Трем законам, но традиция требует, чтобы только Азимов мог явно цитировать Законы. Азимов считал, что «Три закона» способствовали появлению историй, в которых роботы «милы» - Звездные войны ». его любимым примером были « Там, где законы цитируются дословно, как, например, у Бака Роджерса в эпизоде ​​25-го века «Шгорачи!», Азимов нередко упоминается в том же диалоге, что также можно увидеть в пилотной серии Аарона Стоуна , где андроид заявляет: что он действует в соответствии с тремя законами Азимова. Однако в немецком телесериале 1960-х годов Raumpatrouille – Die phantastischen Abenteuer des Raumschiffes Orion (« Космический патруль – Фантастические приключения космического корабля Орион » («Стражи закона») основан ») третий эпизод под названием « Hüter des Gesetzes на Трех законах Азимова, не упоминая при этом упоминания. источник.

Отсылки к Трем Законам появлялись в популярной музыке («Робот» из альбома Hawkwind 1979 года PXR5 ), кино ( «Repo Man» , «Чужие» , «Призрак в доспехах 2: Невинность» ), мультсериалов ( «Симпсоны» ), аниме ( «Eve no Jikan» ), настольных ролевых игр ( «Паранойя» ) и веб-комиксов ( «Piled Higher and Deeper » и «Свободное падение» ).

Три закона в кино

Робот Робби в «Запретной планете » (1956) имеет иерархическую командную структуру, которая удерживает его от причинения вреда людям, даже если ему приказано это сделать, поскольку такие приказы вызывают конфликты и блокировки, очень похожие на роботов Азимова. Робби — одно из первых кинематографических изображений робота с внутренней защитой, установленной таким образом. Азимов был в восторге от Робби и отметил, что Робби, похоже, запрограммирован следовать его Трем законам.

NDR-114, объясняющий три закона

Произведения Айзека Азимова несколько раз экранизировались для кино с разной степенью критического и коммерческого успеха. Некоторые из наиболее заметных попыток связаны с его рассказами о «Роботах», в том числе «Три закона».

В фильме «Человек двухсотлетнего юбилея » (1999) Робин Уильямс играет робота «Три закона» NDR-114 (серийный номер частично является отсылкой к Стэнли Кубрика ) цифре подписи . Уильямс декламирует Три закона своим работодателям, семье Мартин, с помощью голографической проекции. Фильм лишь частично повторяет оригинальную историю.

Харланом Эллисоном Предложенный сценарий фильма «Я, робот» начался с введения Трех законов, и проблемы, вытекающие из Трех законов, составляют большую часть развития сюжета сценария. Из-за различных сложностей в голливудской системе кинопроизводства, которым в вступительной речи Эллисона уделяется много оскорблений, его сценарий так и не был снят.

В фильме 1986 года «Чужие» после того, как андроид Бишоп случайно порезался, он пытается успокоить Рипли , заявляя, что: «Я не могу причинить вред человеческому существу или бездействием позволить причинить ему вред».

Сюжет фильма, вышедшего в 2004 году под названием « Я, робот» , «навеян» фантастическими рассказами Азимова о роботах. а реклама фильма включала трейлер, показывающий «Три закона», за которым следовал афоризм «Правила созданы для того, чтобы их нарушать». Фильм открывается декламацией Трех законов и исследует последствия Нулевого закона как логическую экстраполяцию. Главный конфликт фильма происходит из-за того, что компьютерный искусственный интеллект приходит к выводу, что человечество неспособно позаботиться о себе.

Оригинальный сериал Netflix 2019 года « Лучше, чем мы» включает в себя 3 закона в начале первого эпизода.

Критика

Философ Джеймс Х. Мур говорит, что при тщательном применении они дадут неожиданные результаты. Он приводит пример робота, бродящего по миру и пытающегося предотвратить причинение вреда людям.

См. также

• Законы робототехники
• Три закона Кларка
• Этика искусственного интеллекта
• Дружественный искусственный интеллект
• Список одноименных законов
• Военный робот
• Мораль
• Законы Нивена
• Робоэтика
• Три закона трансгуманизма
• Регулирование алгоритмов

Библиография

• Азимов, Исаак (1979). В памяти еще зеленый . Даблдэй. ISBN   0-380-75432-0 .
• Азимов, Исаак (1964). "Введение". Остальные роботы . Даблдэй. ISBN   0-385-09041-2 .
• Джеймс Ганн. (1982). Айзек Азимов: Основы научной фантастики . Оксфорд ua: Оксфордский университет. Пр.. ISBN   0-19-503060-5 .
• Патруш, Джозеф Ф. (1974). Научная фантастика Айзека Азимова . Даблдэй. ISBN   0-385-08696-2 .

Внешние ссылки

• « Часто задаваемые вопросы об Айзеке Азимове », AsimovOnline , 27 сентября 2004 г.
• Этические соображения для роботов-гуманоидов: почему трех законов Азимова недостаточно .
• Безопасная жизнь с роботами, за пределами законов Азимова , PhysOrg.com , 22 июня 2009 г.
• Разведка безопасности и язык юридических машин: нужны ли нам три закона робототехники? , Вена: I-Tech , август 2008 г.