Перцептроны (книга)

Перцептроны: введение в вычислительную геометрию
Автор	Марвин Мински , Сеймур Пейперт
Дата публикации	1969
ISBN	0 262 13043 2

«Перцептроны: введение в вычислительную геометрию» — книга, написанная Марвином Мински и Сеймуром Пейпертом и опубликованная в 1969 году. В начале 1970-х годов вышло издание с рукописными исправлениями и дополнениями. Расширенное издание было опубликовано в 1988 году ( ISBN 9780262631112 ) после возрождения нейронных сетей , содержащий главу, посвященную противодействию критике в ее адрес в 1980-х годах.

Основной темой книги является персептрон — тип искусственной нейронной сети , разработанный в конце 1950-х — начале 1960-х годов. Книга была посвящена психологу Фрэнку Розенблатту , который в 1957 году опубликовал первую модель «Персептрона». ^[1] Розенблатт и Мински знали друг друга с подросткового возраста, учась с разницей в один год в Высшей научной школе Бронкса . ^[2] В какой-то момент они стали центральными фигурами дебатов в исследовательском сообществе ИИ и, как известно, способствовали громким дискуссиям на конференциях, но при этом оставались дружелюбными. ^[3]

Эта книга является центром давней полемики в области изучения искусственного интеллекта . Утверждается, что пессимистические прогнозы, сделанные авторами, стали причиной изменения направления исследований в области ИИ, концентрации усилий на так называемых «символических» системах, направления исследований, которое иссякло и способствовало так называемой зиме ИИ. 1980-х годов, когда обещание ИИ не было реализовано. ^[4]

Суть перцептронов заключается в ряде математических доказательств , которые признают некоторые сильные стороны перцептронов, но в то же время демонстрируют серьезные ограничения. ^[3]Самый важный из них связан с вычислением некоторых предикатов, таких как функция XOR, а также важного предиката связности. Проблема связности проиллюстрирована на неуклюже раскрашенной обложке книги, призванной показать, что сами люди испытывают трудности с вычислением этого предиката. ^[5] Один из рецензентов, Эрл Хант , отметил, что людям сложно освоить функцию XOR во время экспериментов по изучению концепций . ^[6]

История публикаций [ править ]

Когда Пейперт прибыл в Массачусетский технологический институт в 1963 году, Мински и Пейперт решили написать теоретическое описание ограничений перцептронов. Им потребовалось время до 1969 года, чтобы закончить решение математических задач, которые неожиданно возникли, когда они писали. Первое издание вышло в 1969 г. К второму изданию 1972 г. авторы внесли рукописные изменения. В рукописных примечаниях имеются ссылки на рецензию к первому изданию. ^[7]^[8]^[9]

В 1988 году было опубликовано «расширенное издание», в которое добавлены пролог и эпилог, посвященные возрождению нейронных сетей в 1980-х годах, но нет новых научных результатов. ^[10] В 2017 году расширенное издание было переиздано с предисловием Леона Ботту , в котором книга обсуждается с точки зрения человека, работающего в области глубокого обучения .

Предыстория [ править ]

Персептрон в 1958 году , — это нейронная сеть , разработанная психологом Фрэнком Розенблаттом и одна из самых известных машин своего времени. ^[11]^[12]В 1960 году Розенблатт и его коллеги смогли показать, что перцептрон может за конечное число циклов обучения обучиться любой задаче, которую могут реализовать его параметры. Для однослойных нейронных сетей доказана теорема о сходимости перцептрона. ^[12]

В тот период исследования нейронных сетей были основным подходом к проблеме «мозг-машина», которым воспользовалось значительное количество людей. ^[12] В сообщениях New York Times и заявлениях Розенблатта утверждалось, что нейронные сети вскоре смогут видеть изображения, побеждать людей в шахматы и размножаться. ^[3] В то же время новые подходы, включая символический ИИ . появились ^[13] Различные группы столкнулись с конкуренцией за финансирование и людей, а их спрос на вычислительную мощность намного превысил доступное предложение. ^[14]

Содержание [ править ]

«Перцептроны: введение в вычислительную геометрию» — это книга из тринадцати глав, сгруппированных в три раздела. Главы 1–10 представляют теорию перцептрона авторов посредством доказательств, глава 11 посвящена обучению, глава 12 посвящена проблемам линейного разделения, а в главе 13 обсуждаются некоторые мысли авторов о простых и многослойных перцептронах и распознавании образов. ^[15]^[16]

Определение персептрона [ править ]

Мински и Паперт выбрали в качестве предмета абстрактные версии класса обучающих устройств, которые они назвали перцептронами, «в знак признания новаторской работы Фрэнка Розенблатта». ^[16] Эти перцептроны представляли собой модифицированную форму перцептронов, представленных Розенблаттом в 1958 году. Они состояли из сетчатки, одного слоя входных функций и одного выходного сигнала. ^[15]^[12]

Помимо этого, авторы ограничили «порядок» или максимальное количество входящих соединений своих перцептронов. Социолог Микель Олазаран объясняет, что Мински и Паперт «утверждали, что интерес к нейронным вычислениям проистекает из того факта, что это параллельная комбинация локальной информации», которая, чтобы быть эффективной, должна была представлять собой простое вычисление. По мнению авторов, это означало, что «каждая единица ассоциации могла получать соединения только из небольшой части входной области». ^[12] Минский и Паперт назвали это понятие «конъюнктивной локальностью». ^[16]

и связность Паритет

Двумя основными примерами, проанализированными авторами, были паритет и связность. Четность предполагает определение того, является ли количество активированных входов во входной сетчатке нечетным или четным, а связность относится к проблеме фигуры и фона . Мински и Паперт доказали, что однослойный перцептрон не может вычислить четность при условии конъюнктивной локальности (теорема 3.1.1), и показали, что порядок, необходимый перцептрону для вычисления связности, растет с размером входных данных (теорема 5.5). ^[17]^[16]

Дело XOR [ править ]

Некоторые критики книги ^{[ нужна цитата ]}заявляют, что авторы подразумевают, что, поскольку один искусственный нейрон неспособен реализовать некоторые функции, такие как логическая функция XOR , более крупные сети также имеют аналогичные ограничения и, следовательно, от них следует отказаться. Исследования трехслойных перцептронов показали, как реализовать такие функции. Розенблатт в своей книге доказал, что элементарный перцептрон с априорно неограниченным числом A-элементов скрытого слоя (нейронов) и одним выходным нейроном способен решить любую классификационную задачу. (Теорема существования. ^[18]) Мински и Паперт использовали перцептроны с ограниченным числом входов A-элементов скрытого слоя и условием локальности: каждый элемент скрытого слоя получает входные сигналы от маленького круга. Эти ограниченные перцептроны не могут определить, является ли изображение связной фигурой или число пикселей в изображении четное (предикат четности).

В этой истории много ошибок ^{[ нужна цитата ]}. Хотя на самом деле один нейрон может вычислить лишь небольшое количество логических предикатов, это было широко известно. ^{[ нужна цитата ]}что сети таких элементов могут вычислить любую возможную булеву функцию . Об этом знали Уоррен Мак-Каллок и Уолтер Питтс , которые даже предложили, как создать машину Тьюринга с их формальными нейронами (раздел III книги ^[19]), упоминается в книге Розенблатта, упомянутой в типичной статье 1961 года (рис. 15). ^[20]), и даже упоминается в книге «Перцептроны». ^[21] Мински также широко использует формальные нейроны для создания простых теоретических компьютеров в главе 3 своей книги «Вычисления: конечные и бесконечные машины» .

В 1960-х годах изучается особый случай сети перцептрона как «линейная пороговая логика» для приложений в цифровых логических схемах. ^[22] Классическая теория изложена в ^[23] по словам Дональда Кнута. ^[24] В этом особом случае обучение перцептрона называлось «синтезом однопороговых элементов путем итерации», а построение сети перцептрона - «сетевым синтезом». ^[25]Другие названия включали линейно разделимую логику, логику линейного ввода, пороговую логику, мажоритарную логику и логику голосования . Аппаратное обеспечение для реализации линейной пороговой логики включало магнитный сердечник , резистор-транзистор , параметрон , резисторно-туннельный диод и реле с несколькими катушками . ^[26] Были также теоретические исследования верхних и нижних границ минимального количества единиц перцептрона, необходимых для реализации любой булевой функции. ^[27]^[28]

Что книга действительно доказывает, так это то, что в трехслойных перцептронах с прямой связью (с так называемым «скрытым» или «промежуточным» слоем) невозможно вычислить некоторые предикаты, если хотя бы один из нейронов в первом слое нейронов («промежуточный» слой) связан с ненулевым весом с каждым входом (теорема 3.1.1, воспроизведенная ниже). Это противоречило надеждам некоторых исследователей. ^{[ нужна цитата ]}полагаясь в основном на сети с несколькими слоями «локальных» нейронов, каждый из которых подключен лишь к небольшому количеству входов. Машину прямой связи с «локальными» нейронами гораздо проще построить и использовать, чем более крупную, полностью связанную нейронную сеть, поэтому исследователи в то время сосредоточились на них, а не на более сложных моделях. ^{[ нужна цитата ]}.

Некоторые другие критики, в частности Джордан Поллак , отмечают, что то, что было небольшим доказательством того, что глобальная проблема (паритет) не обнаруживается локальными детекторами, было интерпретировано сообществом как довольно успешная попытка похоронить всю идею. ^[29]

перцептронов и расширений Критика их

В прологе и эпилоге, добавленных к изданию 1988 года, авторы реагируют на возрождение нейронных сетей в 1980-х годах, обсуждая многослойные нейронные сети и перцептроны Гамба. ^[30]^[31]^[32]^[33]Под «гамба-перцептронами» подразумевались двухслойные перцептронные машины, первый слой которых также состоит из блоков перцептрона («гамба-масок»). Напротив, большая часть книги посвящена двухслойным перцептронам, первый слой которых состоит из логических единиц. Они предполагают, что машинам Гамбы потребуется «огромное количество» масок Гамбы и что многослойные нейронные сети являются «стерильным» расширением. Кроме того, они отмечают, что многие из «невозможных» задач для персептронов уже были решены другими методами. ^[16]

Перцептронная машина Гамба была похожа на перцептронную машину Розенблатта. Его входными данными были изображения. Изображение проходит через бинарные маски (генерируемые случайным образом) параллельно. За каждой маской находится фотоприемник, который срабатывает, если входной сигнал после маскировки достаточно яркий. Второй слой состоит из стандартных блоков перцептрона.

Они утверждали, что исследования перцептронов в 1970-х годах пошли на убыль не из-за их книги, а из-за присущих им проблем: ни одна обучающая машина перцептрона не могла выполнять присвоение кредитов лучше, чем правило обучения перцептрона Розенблатта, а перцептроны не могут предоставлять знания, необходимые для решения определенных проблем. ^[29]

В последней главе они заявили, что для нейронных сетей 1980-х годов «мало что изменилось с 1969 года». Они предсказывали, что любая отдельная однородная машина не сможет масштабироваться. Нейронные сети, обученные методом градиентного спуска , не смогут масштабироваться из-за локальных минимумов , чрезвычайно больших весов и медленной сходимости. Все общие алгоритмы обучения нейронных сетей должны быть непрактичными, поскольку общей, независимой от предметной области теории того, «как работают нейронные сети», не существует. Только общество разума может работать. В частности, они думали, что в мире существует много разных маленьких проблем, каждая из которых находится в масштабе «игрушечной проблемы». Большие проблемы всегда можно разложить на маленькие. Для решения каждой из них требуется свой алгоритм: некоторые из них — перцептроны, другие — логические программы и так далее. Любая однородная машина не способна решить все, кроме небольшого числа мелких проблем. Человеческий интеллект представляет собой не что иное, как набор множества небольших различных алгоритмов, организованных как общество. ^[29]

Математическое содержание [ править ]

Предварительные определения [ править ]

Позволять ${\textstyle R}$ быть конечным множеством. Предикат на ${\textstyle R}$ — это логическая функция, которая принимает подмножество ${\textstyle R}$ и выводит либо ${\textstyle 0}$ или ${\textstyle 1}$ . В частности, единица перцептрона является предикатом.

Предикат ${\textstyle \psi }$ имеет поддержку ${\textstyle S\subset R}$ , если таковой имеется ${\textstyle X\subset S}$ , у нас есть ${\textstyle \psi (X)=\psi (X\cap S)}$ . На словах это означает, что если мы знаем, как ${\textstyle \psi }$ работает с подмножествами ${\textstyle S}$ , то мы знаем, как это работает на подмножествах всех ${\textstyle R}$ .

Предикат может иметь множество различных носителей. Размер поддержки предиката ${\textstyle \psi }$ — минимальное количество элементов, необходимых для его поддержки. Например, функции константа-0 и константа-1 поддерживаются для пустого набора, поэтому обе они имеют поддерживаемый размер 0.

Перцептрон (тот , что изучали Мински и Паперт) над ${\textstyle R}$ является функцией формы

\theta \left(\sum _{i}a_{i}\psi _{i}\right)

где

{\textstyle \psi _{i}}

являются предикатами, а

{\textstyle a_{i}}

являются действительными числами.

Если ${\textstyle \Phi }$ представляет собой набор предикатов, то ${\textstyle L(\Phi )}$ представляет собой набор всех перцептронов, использующих только предикаты в ${\textstyle \Phi }$ .

Порядок перцептрона ${\textstyle \theta \left(\sum _{i}a_{i}\psi _{i}\right)}$ - максимальный размер поддержки составляющих его предикатов ${\textstyle \{\psi _{i}\}_{i}}$ .

Порядок на логической функции ${\textstyle R}$ — минимальный возможный порядок для персептрона, реализующего логическую функцию.

Булева функция является конъюнктивно локальной тогда и только тогда, когда ее порядок не увеличивается до бесконечности при условии, что $|R|$ увеличивается до бесконечности.

Маска ${\textstyle A\subset R}$ это предикат ${\textstyle 1_{A}}$ определяется

1_{A}(X)={\begin{cases}1&{\text{ if }}A\subset X,\\0&{\text{ else.}}\end{cases}}

Основные теоремы [ править ]

Теорема 1.5.1. Положительная нормальная форма . Если перцептрон имеет порядок ${\textstyle k}$ , тогда это в порядке вещей ${\textstyle k}$ использование только масок.

Доказательство

Пусть перцептрон будет ${\textstyle \theta \left(\sum _{i}a_{i}\psi _{i}\right)}$ , где каждый ${\textstyle \psi _{i}}$ имеет максимальный размер поддержки ${\textstyle k}$ . Преобразуем его в линейную сумму масок, каждая из которых имеет размер не более ${\textstyle k}$ .

Позволять ${\textstyle \psi _{i}}$ быть поддержанным на съемочной площадке ${\textstyle A}$ . Запишите его в дизъюнктивной нормальной форме, по одному предложению для каждого подмножества. ${\textstyle A}$ на которой ${\textstyle \psi _{i}}$ возвращает ${\textstyle 1}$ и для каждого подмножества напишите один положительный литерал для каждого элемента в подмножестве и один отрицательный литерал в противном случае.

Например, предположим ${\textstyle \psi _{i}}$ поддерживается на ${\textstyle \{1,2\}}$ , и является ${\textstyle 1}$ на всех подмножествах нечетного размера, то мы можем записать это как

(x_{1}\land \neg x_{2})\lor (\neg x_{1}\land x_{2})

Теперь преобразуйте эту формулу в формулу булевой алгебры, затем разверните ее, получив линейную сумму масок. Например, приведенная выше формула преобразуется в

x_{1}(1-x_{2})+(1-x_{1})x_{2}=x_{1}+x_{2}-2x_{1}x_{2}

Повторите это для каждого предиката, используемого в персептроне, и просуммируйте их, мы получим эквивалентный перцептрон, используя только маски.

Позволять ${\textstyle S_{R}}$ группа перестановок элементов ${\textstyle R}$ , и ${\textstyle G}$ быть подгруппой ${\textstyle S_{R}}$ .

Мы говорим, что предикат ${\textstyle \psi }$ является ${\textstyle G}$ -инвариант тогда и только тогда ${\textstyle \psi \circ g=\psi }$ для любого ${\textstyle g\in G}$ . То есть любой ${\textstyle X\subset R}$ , у нас есть ${\textstyle \psi (X)=\psi (g(X))}$ .

Например, функция четности ${\textstyle S_{R}}$ -инвариантен, поскольку любая перестановка набора сохраняет размер и, следовательно, четность любого из его подмножеств.

Теорема 2.3, теорема групповой инвариантности — Если ${\textstyle \Phi }$ закрывается под действием ${\textstyle G}$ , и ${\textstyle \psi \in L(\Phi )}$ является ${\textstyle G}$ -инвариант, существует перцептрон

\theta \left(\sum _{i}a_{i}\psi _{i}\right)=\psi

такое, что если

{\textstyle \psi _{i}=\psi _{j}\circ g}

для некоторых

{\textstyle g\in G}

, затем

{\textstyle a_{i}=a_{j}}

.

Доказательство

Идея доказательства состоит в том, чтобы взять среднее значение по всем элементам ${\textstyle G}$ .

Перечислите предикаты в ${\textstyle \Phi }$ как ${\textstyle \psi _{1},\psi _{2},...}$ , и написать ${\textstyle g(j)}$ для индекса предиката такого, что ${\textstyle \psi _{g(j)}=\psi _{j}\circ g}$ , для любого ${\textstyle g\in G}$ . То есть мы определили групповое действие на множестве ${\textstyle \Phi }$ .

Определять ${\textstyle a_{j}:=\sum _{g\in G}b_{g^{-1}(j)}}$ . Мы утверждаем, что это и есть желаемый перцептрон.

С ${\textstyle \psi \in L(\Phi )}$ , существуют некоторые действительные числа ${\textstyle b_{j}}$ такой, что

\theta \left(\sum _{j}b_{j}\psi _{j}\right)=\psi

По определению ${\textstyle G}$ -инвариантность, если ${\textstyle \psi (A)=1}$ , затем ${\textstyle \psi (g(A))=1}$ для всех ${\textstyle g\in G}$ . То есть,

\sum _{j}b_{j}(\psi _{j}\circ g)(A)>0;\quad g\in G

и так, взяв среднее значение по всем элементам в

{\textstyle G}

, у нас есть

0<\sum _{g\in G}\sum _{j}b_{j}(\psi _{j}\circ g)(A)=\sum _{g\in G}\sum _{j}b_{g^{-1}(j)}\psi _{j}(A)=\sum _{j}\left(\sum _{g\in G}b_{g^{-1}(j)}\right)\psi _{j}(A)=\sum _{j}a_{j}\psi _{j}(A)

Аналогично для случая, когда ${\textstyle \psi (A)=0}$ .

Теорема 3.1.1 — Функция четности имеет порядок ${\textstyle |R|}$ .

Доказательство

Позволять ${\textstyle \psi _{parity}}$ быть функцией четности, и ${\textstyle \Phi }$ быть набором всех масок размера ${\textstyle \leq |R|-1}$ . Очевидно, что оба ${\textstyle \psi _{parity}}$ и ${\textstyle \Phi }$ инвариантны относительно всех перестановок.

Предполагать ${\textstyle \psi _{parity}}$ имеет порядок ${\textstyle \leq |R|-1}$ , то по теореме о положительной нормальной форме ${\textstyle \psi _{parity}\in L(\Phi )}$ .

По теореме групповой инвариантности существует персептрон

\theta \left(\sum _{i}a_{i}\psi _{i}\right)=\psi _{parity}

такой, что

{\textstyle a_{i}}

зависит только от

{\textstyle S_{R}}

класс эквивалентности маски

{\textstyle \psi _{i}}

, и, следовательно, зависит только от размера маски

{\textstyle \psi _{i}}

. То есть существуют действительные числа

{\textstyle b_{0},b_{1},...,b_{|R|-1}}

такое, что если

{\textstyle \psi _{i}}

надета ли маска?

{\textstyle A}

, затем

{\textstyle a_{i}=b_{|A|}}

.

Теперь мы можем явно вычислить персептрон на любом подмножестве ${\textstyle X\subset R}$ .

С ${\textstyle X}$ содержит ${\textstyle {\binom {|X|}{k}}}$ подмножества размера ${\textstyle k}$ , подставляем формулу перцептрона и вычисляем:

\psi _{parity}(X)=\theta \left(\sum _{k=0}^{|R|-1}b_{k}{\binom {|X|}{k}}\right)

Теперь определим полиномиальную функцию

p(x):=\sum _{k=0}^{|R|-1}b_{k}{\binom {x}{k}}

где

{\textstyle {\binom {x}{k}}={\frac {x(x-1)\cdots (x-k+1)}{k!}}}

. Он имеет максимальную степень

{\textstyle |R|-1}

. тогда с тех пор

{\textstyle \theta (p(|X|))=\psi _{parity}(X)}

, для каждого

{\textstyle |X|=0,1,2,...,|R|}

, у нас есть

p(0)-\epsilon >0,\quad p(1)-\epsilon <0,\quad p(2)-\epsilon >0,\quad \cdots

для небольшого позитива

{\textstyle \epsilon }

.

Таким образом, степень ${\textstyle \leq |R|-1}$ полиномиальный ${\textstyle p-\epsilon }$ имеет по крайней мере ${\textstyle |R|}$ разные корни, по одному на каждый ${\textstyle (0,1),(1,2),...,(|R|-1,|R|)}$ , противоречие.

Теорема 5.9 . Единственные топологически инвариантные предикаты конечного порядка являются функциями числа Эйлера. ${\textstyle E}$ .

То есть, если ${\textstyle \psi }$ это булева функция, которая зависит от топологии и может быть реализована персептроном порядка ${\textstyle k}$ , такой, что ${\textstyle k}$ фиксирован и не растет по мере ${\textstyle R}$ вырастает во все больший и больший прямоугольник, затем ${\textstyle \psi }$ имеет форму ${\textstyle f\circ E}$ , для некоторой функции ${\textstyle f:\mathbb {N} \to 2}$ .

Доказательство: опущено.

Раздел 5.5, автор: Дэвид А. Хаффман — Let ${\textstyle R_{n}}$ быть прямоугольником формы ${\textstyle 5n\times (2n+12)}$ , тогда как ${\textstyle n\to \infty }$ , функция связности на ${\textstyle R_{n}}$ имеет заказ, растущий по крайней мере так же быстро, как ${\textstyle \Omega (|R_{n}|^{1/2})}$ .

Эскиз доказательства: путем сведения функции четности к функции связности с использованием схемных устройств. Он выполнен в том же стиле, что и тот, который показывает, что Сокобан NP-сложный. ^[34]

и наследие Прием

Спустя годы после публикации «Персептроны» получили ряд положительных отзывов. В 1969 году профессор Стэнфорда Майкл А. Арбиб заявил: «[т] его книга получила широкое признание как новая захватывающая глава в теории распознавания образов». ^[35] Ранее в том же году КМУ профессор Аллен Ньюэлл написал рецензию на книгу для журнала Science , начав статью заявлением: «[это] великая книга». ^[36]

С другой стороны, HD Block выразил обеспокоенность по поводу узкого определения персептронов, сформулированного авторами. Он утверждал, что они «изучают строго ограниченный класс машин с точки зрения, совершенно чуждой Розенблатту», и поэтому название книги «серьезно вводит в заблуждение». ^[15] Современные исследователи нейронных сетей разделяют некоторые из этих возражений: Бернард Уидроу жаловался, что авторы дали слишком узкое определение перцептрона, но также сказал, что доказательства Мински и Паперта «в значительной степени неуместны» и появились спустя целое десятилетие после перцептрона Розенблатта. ^[17]

Часто считается, что перцептроны стали причиной спада исследований нейронных сетей в 1970-х и начале 1980-х годов. ^[3]^[37] В этот период исследователи нейронных сетей продолжали более мелкие проекты, выходящие за рамки основного направления, в то время как исследования в области символического ИИ продемонстрировали взрывной рост. ^[38]^[3]

С возрождением коннекционизма в конце 80-х исследователь НДП Дэвид Румельхарт и его коллеги вернулись к Perceptrons . В отчете 1986 года они заявили, что преодолели проблемы, представленные Мински и Папертом, и что «их пессимизм по поводу обучения на многоуровневых машинах был неуместен». ^[3]

Анализ спора [ править ]

Весьма поучительно узнать, что сами Мински и Паперт говорили в 1970-х годах о более широком значении их книги. На своем сайте Харви Коэн ^[39] исследователь в MIT AI Labs 1974+, ^[40] цитируют Мински и Паперта в отчете проекта MAC 1971 года, адресованном финансирующим агентствам, о «сетях Гамбы»: ^[30]«Практически ничего не известно о вычислительных возможностях этого последнего типа машины. Мы считаем, что она может сделать немногим больше, чем перцептрон низкого порядка». На предыдущей странице Мински и Паперт поясняют, что «сети Гамбы» — это сети со скрытыми слоями.

Мински сравнил эту книгу с вымышленной книгой «Некрономикон» из сказок Лавкрафта , книгой, известной многим, но читаемой лишь немногими. ^[41] В расширенном издании авторы рассказывают о критике книги, начавшейся в 1980-х годах, когда новая волна исследований символизировалась книгой НДП .

То, как перцептроны были изучены сначала одной группой ученых, чтобы направить исследования в области ИИ в одном направлении, а затем новой группой в другом направлении, стало предметом социологического исследования научного развития. ^[3]

Примечания [ править ]

^ Розенблатт, Франк (январь 1957 г.). Перцептрон: воспринимающий и распознающий автомат (Проект PARA) (PDF) (Отчет). Отчет Корнеллской авиационной лаборатории, Inc. № 85–460–1 . Проверено 29 декабря 2019 г. Увековечена память Джо Патера, « Мозговые войны: как работает разум?» И почему это так важно? , Умасс-Амхерст.
^ Кревье 1993
^ Перейти обратно: ^а ^б ^с ^д ^Это ^ж ^г Олазаран 1996 год .
^ Митчелл, Мелани (октябрь 2019 г.). Искусственный интеллект: Руководство для думающих людей . Фаррар, Штраус и Жиру. ISBN 978-0-374-25783-5 .
^ Мински-Паперт 1972:74 показывает черно-белые цифры. На обложке издания в мягкой обложке 1972 года они напечатаны фиолетовым цветом на красном фоне, и это еще больше затрудняет различение соединений без использования пальца или других средств для механического отслеживания узоров. Эта проблема подробно обсуждается на стр. 136 и далее и действительно включает в себя отслеживание границы.
^ Хант, Эрл (1971). «Обзор перцептронов» . Американский журнал психологии . 84 (3): 445–447. дои : 10.2307/1420478 . ISSN 0002-9556 . JSTOR 1420478 .
^ Блок, HD (декабрь 1970 г.). «Обзор «Перцептронов: Введение в вычислительную геометрию≓» . Информация и контроль . 17 (5): 501–522. doi : 10.1016/S0019-9958(70)90409-2 .
^ Ньюэлл, Аллен (22 августа 1969 г.). «Шаг к пониманию информационных процессов: перцептроны. Введение в вычислительную геометрию. Марвин Мински и Сеймур Пейперт. MIT Press, Кембридж, Массачусетс, 1969. vi + 258 стр., иллюстрации. Ткань, 12 долларов; бумага, 4,95 доллара» . Наука . 165 (3895): 780–782. дои : 10.1126/science.165.3895.780 . ISSN 0036-8075 .
^ Мисельский, Ян (январь 1972 г.). «Обзор: Марвин Мински и Сеймур Паперт, Перцептроны, введение в вычислительную геометрию» . Бюллетень Американского математического общества . 78 (1): 12–15. дои : 10.1090/S0002-9904-1972-12831-3 . ISSN 0002-9904 .
^ Гроссберг, Стивен. «Расширенное издание Perceptrons (MIT Press, Cambridge, Mass, 1988, 292 стр., 12,50 долларов США) Марвина Л. Мински и Сеймура А. Пейперта уже доступно». Журнал AI 10.2 (1989).
^ Розенблатт, Франк (1958). «Персептрон: вероятностная модель хранения и организации информации в мозге». Психологический обзор . 65 (6): 386–408. CiteSeerX 10.1.1.588.3775 . дои : 10.1037/h0042519 . ПМИД 13602029 . S2CID 12781225 .
^ Перейти обратно: ^а ^б ^с ^д ^Это Олазаран 1996 , с. 618
^ Хаугеланд, Джон (1985). Искусственный интеллект: сама идея . Кембридж, Массачусетс: MIT Press. ISBN 978-0-262-08153-5 .
^ Хван, Тим (2018). «Вычислительная мощность и социальное влияние искусственного интеллекта». arXiv : 1803.08971v1 [ cs.AI ].
^ Перейти обратно: ^а ^б ^с Блок, HD (1970). «Обзор« Перцептронов: введение в вычислительную геометрию » » . Информация и контроль . 17 (1): 501–522. дои : 10.1016/S0019-9958(70)90409-2 .
^ Перейти обратно: ^а ^б ^с ^д ^Это Мински, Марвин; Паперт, Сеймур (1988). Перцептроны: введение в вычислительную геометрию . МТИ Пресс.
^ Перейти обратно: ^а ^б Олазаран 1996 , с. 630
^ Теорема 1 в Розенблатте, Ф. (1961) Принципы нейродинамики: перцептроны и теория механизмов мозга, Спартан. Вашингтон, округ Колумбия.
^ Маккалок, Уоррен С.; Питтс, Уолтер (1 декабря 1943 г.). «Логическое исчисление идей, имманентных нервной деятельности» . Вестник математической биофизики . 5 (4): 115–133. дои : 10.1007/BF02478259 . ISSN 1522-9602 .
^ Хокинс, Дж. (январь 1961 г.). «Самоорганизующиеся системы. Обзор и комментарии» . Труды ИРЭ . 49 (1): 31–48. дои : 10.1109/JRPROC.1961.287776 . ISSN 0096-8390 . S2CID 51640615 .
^ См. Мински-Паперт (1972:232): «...универсальный компьютер может быть построен полностью из линейных пороговых модулей. Это ни в каком смысле не сводит теорию вычислений и программирования к теории перцептронов».
^ Ху, Сзе-Цен. Пороговая логика . Том. 32. Калифорнийский университет прессы, 1965.
^ Мурога, Сабуро (1971). Пороговая логика и ее приложения . Нью-Йорк: Wiley-Interscience. ISBN 978-0-471-62530-8 .
^ Кнут, Дональд Эрвин (2011). Искусство компьютерного программирования, Том 4А . Река Аппер-Седл: Аддисон-Уэсли. стр. 75–79. ISBN 978-0-201-03804-0 .
^ Дертузос, Майкл Л. «Пороговая логика: подход синтеза». (1965).
^ Минник, Роберт К. (март 1961 г.). «Линейная логика ввода» . Транзакции IEEE на электронных компьютерах . ИК-10 (1): 6–16. дои : 10.1109/TEC.1961.5219146 . ISSN 0367-7508 .
^ См. ссылки в книге Кавер, Томас М. « Проблемы производительности линейных машин ». Распознавание образов (1968): 283-289.
^ Шима, Иржи; Орпонен, Пекка (1 декабря 2003 г.). «Универсальные вычисления с нейронными сетями: обзор результатов теории сложности» . Нейронные вычисления . 15 (12): 2727–2778. дои : 10.1162/089976603322518731 . ISSN 0899-7667 . ПМИД 14629867 . S2CID 264603251 .
^ Перейти обратно: ^а ^б ^с Поллак, Дж. Б. (1989). «Никакого вреда не было: расширенное издание обзора персептронов». Журнал математической психологии . 33 (3): 358–365. дои : 10.1016/0022-2496(89)90015-1 .
^ Перейти обратно: ^а ^б От имени итальянского исследователя нейронных сетей Аугусто Гамбы (1923–1996), создателя перцептрона PAPA. PAPA — это аббревиатура от «Programmatore e Analizzatore Probabilistico Automatico» («Автоматический вероятностный программист и анализатор»).
^ Борселлино, А.; Гамба, А. (1 сентября 1961 г.). «Очерк математической теории ПАПА» . Новый Чименто (1955–1965) . 20 (2): 221–231. дои : 10.1007/BF02822644 . ISSN 1827-6121 .
^ Гамба, А.; Гамберини, Л.; Пальмиери, Г.; Санна, Р. (1 сентября 1961 г.). «Дальнейшие эксперименты с ПАПА» . Новый Чименто (1955–1965) . 20 (2): 112–115. дои : 10.1007/BF02822639 . ISSN 1827-6121 .
^ Гамба, А. (1 октября 1962 г.). «Многоуровневый ПОПА» . Новый Чименто (1955–1965) . 26 (1): 176–177. дои : 10.1007/BF02782996 . ISSN 1827-6121 .
^ Дор, Дорит; Цвик, Ури (1 октября 1999 г.). «СОКОБАН и другие проблемы планирования движения» . Вычислительная геометрия . 13 (4): 215–228. дои : 10.1016/S0925-7721(99)00017-6 . ISSN 0925-7721 .
^ Арбиб, Майкл (ноябрь 1969 г.). «Обзор книги «Перцептроны: введение в вычислительную геометрию» ». Транзакции IEEE по теории информации . 15 (6): 738–739. дои : 10.1109/TIT.1969.1054388 .
^ Ньюэлл, Аллен (1969). «Шаг к пониманию информационных процессов». Наука . 165 (3895): 780–782. дои : 10.1126/science.165.3895.780 . JSTOR 1727364 .
^ Алом, доктор Захангир; и другие. (2018). «История началась с AlexNet: комплексный обзор подходов к глубокому обучению». arXiv : 1803.01164v1 [ cs.CV ]. 1969: Мински и Паперт показывают ограничения перцептрона, прекращая исследования в области нейронных сетей на десятилетие.
^ Бектель, Уильям (1993). «Дело в пользу коннекционизма». Философские исследования . 71 (2): 119–154. дои : 10.1007/BF00989853 . JSTOR 4320426 . S2CID 170812977 .
^ «Спор о перцептроне» .
^ «Автор MIT AI Memo 338» (PDF) .
^ «История: Прошлое» . Ucs.louisiana.edu . Проверено 10 июля 2013 г.

Ссылки [ править ]

МакКордак, Памела (2004), Машины, которые думают (2-е изд.), Натик, Массачусетс: AK Peters, Ltd., ISBN 1-56881-205-1 , стр. 104−107.
Кревье, Дэниел (1993). ИИ: бурные поиски искусственного интеллекта . Нью-Йорк, штат Нью-Йорк: BasicBooks. ISBN 0-465-02997-3 . , стр. 102−105.
Рассел, Стюарт Дж .; Норвиг, Питер (2003), Искусственный интеллект: современный подход (2-е изд.), Аппер-Сэддл-Ривер, Нью-Джерси: Прентис-Холл, ISBN 0-13-790395-2 п. 22
Марвин Мински и Сеймур Паперт, 1972 (2-е издание с исправлениями, первое издание 1969 г.) Перцептроны: введение в вычислительную геометрию , MIT Press, Кембридж, Массачусетс, ISBN 0-262-63022-2 .
Олазаран, Микель (1996). «Социологическое исследование официальной истории спора о перцептронах». Социальные исследования науки . 26 (3): 611–659. дои : 10.1177/030631296026003005 . JSTOR 285702 . S2CID 16786738 .
Олазаран, Микель (1993-01-01), Йовитс, Маршалл К. (редактор), Социологическая история споров о нейронных сетях , Достижения в области компьютеров, том. 37, Elsevier, стр. 335–425, номер документа : 10.1016/S0065-2458(08)60408-8 , ISBN. 9780120121373 , получено 31 октября 2023 г.

[1] Розенблатт, Франк (январь 1957 г.). Перцептрон: воспринимающий и распознающий автомат (Проект PARA) (PDF) (Отчет). Отчет Корнеллской авиационной лаборатории, Inc. № 85–460–1 . Проверено 29 декабря 2019 г. Увековечена память Джо Патера, « Мозговые войны: как работает разум?» И почему это так важно? , Умасс-Амхерст.

[2] Кревье 1993

[FOOTNOTEOlazaran1996-3] Перейти обратно: ^а ^б ^с ^д ^Это ^ж ^г Олазаран 1996 год .

[4] Митчелл, Мелани (октябрь 2019 г.). Искусственный интеллект: Руководство для думающих людей . Фаррар, Штраус и Жиру. ISBN 978-0-374-25783-5 .

[5] Мински-Паперт 1972:74 показывает черно-белые цифры. На обложке издания в мягкой обложке 1972 года они напечатаны фиолетовым цветом на красном фоне, и это еще больше затрудняет различение соединений без использования пальца или других средств для механического отслеживания узоров. Эта проблема подробно обсуждается на стр. 136 и далее и действительно включает в себя отслеживание границы.

[6] Хант, Эрл (1971). «Обзор перцептронов» . Американский журнал психологии . 84 (3): 445–447. дои : 10.2307/1420478 . ISSN 0002-9556 . JSTOR 1420478 .

[7] Блок, HD (декабрь 1970 г.). «Обзор «Перцептронов: Введение в вычислительную геометрию≓» . Информация и контроль . 17 (5): 501–522. doi : 10.1016/S0019-9958(70)90409-2 .

[8] Ньюэлл, Аллен (22 августа 1969 г.). «Шаг к пониманию информационных процессов: перцептроны. Введение в вычислительную геометрию. Марвин Мински и Сеймур Пейперт. MIT Press, Кембридж, Массачусетс, 1969. vi + 258 стр., иллюстрации. Ткань, 12 долларов; бумага, 4,95 доллара» . Наука . 165 (3895): 780–782. дои : 10.1126/science.165.3895.780 . ISSN 0036-8075 .

[9] Мисельский, Ян (январь 1972 г.). «Обзор: Марвин Мински и Сеймур Паперт, Перцептроны, введение в вычислительную геометрию» . Бюллетень Американского математического общества . 78 (1): 12–15. дои : 10.1090/S0002-9904-1972-12831-3 . ISSN 0002-9904 .

[10] Гроссберг, Стивен. «Расширенное издание Perceptrons (MIT Press, Cambridge, Mass, 1988, 292 стр., 12,50 долларов США) Марвина Л. Мински и Сеймура А. Пейперта уже доступно». Журнал AI 10.2 (1989).

[11] Розенблатт, Франк (1958). «Персептрон: вероятностная модель хранения и организации информации в мозге». Психологический обзор . 65 (6): 386–408. CiteSeerX 10.1.1.588.3775 . дои : 10.1037/h0042519 . ПМИД 13602029 . S2CID 12781225 .

[:0-12] Перейти обратно: ^а ^б ^с ^д ^Это Олазаран 1996 , с. 618

[13] Хаугеланд, Джон (1985). Искусственный интеллект: сама идея . Кембридж, Массачусетс: MIT Press. ISBN 978-0-262-08153-5 .

[14] Хван, Тим (2018). «Вычислительная мощность и социальное влияние искусственного интеллекта». arXiv : 1803.08971v1 [ cs.AI ].

[:2-15] Перейти обратно: ^а ^б ^с Блок, HD (1970). «Обзор« Перцептронов: введение в вычислительную геометрию » » . Информация и контроль . 17 (1): 501–522. дои : 10.1016/S0019-9958(70)90409-2 .

[:1-16] Перейти обратно: ^а ^б ^с ^д ^Это Мински, Марвин; Паперт, Сеймур (1988). Перцептроны: введение в вычислительную геометрию . МТИ Пресс.

[:3-17] Перейти обратно: ^а ^б Олазаран 1996 , с. 630

[18] Теорема 1 в Розенблатте, Ф. (1961) Принципы нейродинамики: перцептроны и теория механизмов мозга, Спартан. Вашингтон, округ Колумбия.

[19] Маккалок, Уоррен С.; Питтс, Уолтер (1 декабря 1943 г.). «Логическое исчисление идей, имманентных нервной деятельности» . Вестник математической биофизики . 5 (4): 115–133. дои : 10.1007/BF02478259 . ISSN 1522-9602 .

[20] Хокинс, Дж. (январь 1961 г.). «Самоорганизующиеся системы. Обзор и комментарии» . Труды ИРЭ . 49 (1): 31–48. дои : 10.1109/JRPROC.1961.287776 . ISSN 0096-8390 . S2CID 51640615 .

[21] См. Мински-Паперт (1972:232): «...универсальный компьютер может быть построен полностью из линейных пороговых модулей. Это ни в каком смысле не сводит теорию вычислений и программирования к теории перцептронов».

[22] Ху, Сзе-Цен. Пороговая логика . Том. 32. Калифорнийский университет прессы, 1965.

[23] Мурога, Сабуро (1971). Пороговая логика и ее приложения . Нью-Йорк: Wiley-Interscience. ISBN 978-0-471-62530-8 .

[24] Кнут, Дональд Эрвин (2011). Искусство компьютерного программирования, Том 4А . Река Аппер-Седл: Аддисон-Уэсли. стр. 75–79. ISBN 978-0-201-03804-0 .

[25] Дертузос, Майкл Л. «Пороговая логика: подход синтеза». (1965).

[26] Минник, Роберт К. (март 1961 г.). «Линейная логика ввода» . Транзакции IEEE на электронных компьютерах . ИК-10 (1): 6–16. дои : 10.1109/TEC.1961.5219146 . ISSN 0367-7508 .

[27] См. ссылки в книге Кавер, Томас М. « Проблемы производительности линейных машин ». Распознавание образов (1968): 283-289.

[28] Шима, Иржи; Орпонен, Пекка (1 декабря 2003 г.). «Универсальные вычисления с нейронными сетями: обзор результатов теории сложности» . Нейронные вычисления . 15 (12): 2727–2778. дои : 10.1162/089976603322518731 . ISSN 0899-7667 . ПМИД 14629867 . S2CID 264603251 .

[:4-29] Перейти обратно: ^а ^б ^с Поллак, Дж. Б. (1989). «Никакого вреда не было: расширенное издание обзора персептронов». Журнал математической психологии . 33 (3): 358–365. дои : 10.1016/0022-2496(89)90015-1 .

[:5-30] Перейти обратно: ^а ^б От имени итальянского исследователя нейронных сетей Аугусто Гамбы (1923–1996), создателя перцептрона PAPA. PAPA — это аббревиатура от «Programmatore e Analizzatore Probabilistico Automatico» («Автоматический вероятностный программист и анализатор»).

[31] Борселлино, А.; Гамба, А. (1 сентября 1961 г.). «Очерк математической теории ПАПА» . Новый Чименто (1955–1965) . 20 (2): 221–231. дои : 10.1007/BF02822644 . ISSN 1827-6121 .

[32] Гамба, А.; Гамберини, Л.; Пальмиери, Г.; Санна, Р. (1 сентября 1961 г.). «Дальнейшие эксперименты с ПАПА» . Новый Чименто (1955–1965) . 20 (2): 112–115. дои : 10.1007/BF02822639 . ISSN 1827-6121 .

[33] Гамба, А. (1 октября 1962 г.). «Многоуровневый ПОПА» . Новый Чименто (1955–1965) . 26 (1): 176–177. дои : 10.1007/BF02782996 . ISSN 1827-6121 .

[34] Дор, Дорит; Цвик, Ури (1 октября 1999 г.). «СОКОБАН и другие проблемы планирования движения» . Вычислительная геометрия . 13 (4): 215–228. дои : 10.1016/S0925-7721(99)00017-6 . ISSN 0925-7721 .

[35] Арбиб, Майкл (ноябрь 1969 г.). «Обзор книги «Перцептроны: введение в вычислительную геометрию» ». Транзакции IEEE по теории информации . 15 (6): 738–739. дои : 10.1109/TIT.1969.1054388 .

[36] Ньюэлл, Аллен (1969). «Шаг к пониманию информационных процессов». Наука . 165 (3895): 780–782. дои : 10.1126/science.165.3895.780 . JSTOR 1727364 .

[37] Алом, доктор Захангир; и другие. (2018). «История началась с AlexNet: комплексный обзор подходов к глубокому обучению». arXiv : 1803.01164v1 [ cs.CV ]. 1969: Мински и Паперт показывают ограничения перцептрона, прекращая исследования в области нейронных сетей на десятилетие.

[38] Бектель, Уильям (1993). «Дело в пользу коннекционизма». Философские исследования . 71 (2): 119–154. дои : 10.1007/BF00989853 . JSTOR 4320426 . S2CID 170812977 .

[39] «Спор о перцептроне» .

[40] «Автор MIT AI Memo 338» (PDF) .

[41] «История: Прошлое» . Ucs.louisiana.edu . Проверено 10 июля 2013 г.

[1]

[2]

[3]

[4]

[5]

[6]

[7]

[8]

[9]

[10]

[11]

[12]

[13]

[14]

[15]

[16]

[17]

[18]

[19]

[20]

[21]

[22]

[23]

[24]

[25]

[26]

[27]

[28]

[29]

[30]

[31]

[32]

[33]

[34]

[35]

[36]

[37]

[38]

[39]

[40]

[41]

История публикаций [ править ]

Предыстория [ править ]

Содержание [ править ]

Определение персептрона [ править ]

и связность Паритет ​

Дело XOR [ править ]

перцептронов и расширений Критика их

Математическое содержание [ править ]

Предварительные определения [ править ]

Основные теоремы [ править ]

и наследие Прием ​

Анализ спора [ править ]

Примечания [ править ]

Ссылки [ править ]

и связность Паритет

и наследие Прием