Нейронная сеть (машинное обучение)

Эта статья о вычислительных моделях, используемых для искусственного интеллекта. Чтобы узнать о других значениях, см. Нейронная сеть (значения) .

Искусственная нейронная сеть — это взаимосвязанная группа узлов, созданная на основе нейронов мозга упрощения . Здесь каждый круглый узел представляет искусственный нейрон , а стрелка представляет соединение выхода одного искусственного нейрона со входом другого.

В машинном обучении нейронная сеть (также искусственная нейронная сеть или нейронная сеть , сокращенно ANN или NN ) — это модель , вдохновленная структурой и функцией биологических нейронных сетей в мозге животных .

ИНС состоит из связанных единиц или узлов, называемых искусственными нейронами , которые в общих чертах моделируют нейроны мозга. Они соединены ребрами , которые моделируют синапсы в мозге. Каждый искусственный нейрон получает сигналы от связанных нейронов, затем обрабатывает их и отправляет сигнал другим подключенным нейронам. «Сигнал» — это действительное число , а выход каждого нейрона вычисляется некоторой нелинейной функцией суммы его входов, называемой функцией активации . Сила сигнала при каждом соединении определяется весом , который корректируется в процессе обучения.

Обычно нейроны объединяются в слои. Разные слои могут выполнять разные преобразования на своих входах. Сигналы перемещаются от первого слоя ( входной уровень ) к последнему уровню ( выходной уровень ), возможно, проходя через несколько промежуточных слоев ( скрытые слои ). Сеть обычно называется глубокой нейронной сетью, если она имеет как минимум два скрытых слоя.

Искусственные нейронные сети используются для различных задач, включая прогнозное моделирование , адаптивное управление и решение задач в области искусственного интеллекта . Они могут учиться на опыте и делать выводы из сложного и, казалось бы, несвязанного набора информации.

Обучение

Нейронные сети обычно обучаются посредством минимизации эмпирического риска . Этот метод основан на идее оптимизации параметров сети для минимизации разницы или эмпирического риска между прогнозируемыми выходными данными и фактическими целевыми значениями в данном наборе данных. градиентные методы, такие как обратное распространение ошибки . Для оценки параметров сети обычно используются На этапе обучения ИНС обучаются на помеченных обучающих данных, итеративно обновляя свои параметры, чтобы минимизировать определенную функцию потерь . Этот метод позволяет сети обобщать невидимые данные.

Упрощенный пример обучения нейронной сети обнаружению объектов: сеть обучается на нескольких изображениях, на которых, как известно, изображены морские звезды и морские ежи , которые коррелируют с «узлами», представляющими визуальные особенности . Морская звезда сочетается с кольцевой текстурой и звездным контуром, тогда как большинство морских ежей сочетается с полосатой текстурой и овальной формой. Однако экземпляр морского ежа с кольцевой текстурой создает между ними слабо взвешенную ассоциацию.

Последующий запуск сети на входном изображении (слева): Сеть правильно обнаруживает морскую звезду. Однако слабовзвешенная связь между кольцевой текстурой и морским ежом также дает последнему слабый сигнал от одного из двух промежуточных узлов. Кроме того, раковина, не включенная в обучение, дает слабый сигнал овальной формы, что также приводит к слабому сигналу выхода морского ежа. Эти слабые сигналы могут привести к ложноположительному результату на морского ежа.
В действительности текстуры и контуры будут представлены не отдельными узлами, а скорее соответствующими весовыми шаблонами нескольких узлов.

История

Основная статья: История искусственных нейронных сетей

Исторически цифровые компьютеры произошли от модели фон Неймана и работают посредством выполнения явных инструкций посредством доступа к памяти несколькими процессорами. Нейронные сети, с другой стороны, возникли в результате попыток смоделировать обработку информации в биологических системах в рамках коннекционизма . В отличие от модели фон Неймана, коннекционистские вычисления не разделяют память и обработку.

Самый простой вид нейронной сети прямого распространения (FNN) — это линейная сеть, состоящая из одного слоя выходных узлов; входные данные подаются непосредственно на выходы через ряд весов. Сумма произведений весов и входных данных рассчитывается в каждом узле. Среднеквадратические ошибки между этими рассчитанными выходными данными и заданными целевыми значениями сводятся к минимуму за счет корректировки весов. Этот метод известен уже более двух столетий как метод наименьших квадратов или линейная регрессия . (1795 г.) использовали его как средство нахождения хорошей грубой линейной аппроксимации набора точек Лежандр (1805 г.) и Гаусс для предсказания движения планет.

Уоррен Маккалок и Уолтер Питтс (1943) также рассматривали вычислительную модель нейронных сетей, не требующую обучения.

В конце 1940-х годов Д.О. Хебб обучения создал гипотезу , основанную на механизме нейронной пластичности , которая стала известна как обучение Хебба . Хеббианское обучение считается «типичным» правилом обучения без присмотра , а его более поздние варианты были ранними моделями долгосрочного потенцирования . Эти идеи начали применяться к вычислительным моделям в 1948 году с « неорганизованными машинами » Тьюринга. Фарли и Уэсли А. Кларк были первыми, кто смоделировал сеть Хебба в 1954 году в Массачусетском технологическом институте. Они использовали вычислительные машины, которые тогда назывались «калькуляторами». Другие вычислительные машины с нейронными сетями были созданы Рочестером, Холландом, Хабитом и Дудой. в 1956 году. В 1958 году психолог Фрэнк Розенблатт изобрел перцептрон , первую реализованную искусственную нейронную сеть, США финансируется Управлением военно-морских исследований .

Изобретение персептрона вызвало общественный интерес к исследованиям в области искусственных нейронных сетей, что заставило правительство США резко увеличить финансирование исследований в области глубокого обучения. Это привело к «золотому веку искусственного интеллекта», чему способствовали оптимистические заявления ученых-компьютерщиков относительно способности перцептронов имитировать человеческий интеллект. Например, в 1957 году Герберт Саймон сказал:

У меня нет цели удивить или шокировать вас, но самый простой способ, которым я могу подвести итог, — это сказать, что сейчас в мире существуют машины, которые думают, учатся и творят. Более того, их способность делать эти вещи будет быстро возрастать до тех пор, пока — в обозримом будущем — диапазон проблем, с которыми они могут справиться, не станет таким же обширным, как и диапазон, к которому применяется человеческий разум.

Однако этого не произошло, поскольку исследования в Соединенных Штатах застопорились после работы Мински и Паперта (1969). который обнаружил, что базовые перцептроны не способны обрабатывать схему «исключающее-или» и что компьютерам не хватает мощности для обучения полезных нейронных сетей. Это, наряду с другими факторами, такими как отчет Лайтхилла 1973 года Джеймса Лайтхилла , в котором говорится, что исследования в области искусственного интеллекта «не дали того серьезного эффекта, который тогда был обещан», прекращение финансирования исследований в области ИИ во всех университетах США, кроме двух. Великобритании и во многих крупных учреждениях по всему миру. Это положило начало эпохе под названием « Зима искусственного интеллекта» , в которой исследования коннекционизма сократились из-за уменьшения государственного финансирования и повышенного внимания к символическому искусственному интеллекту в Соединенных Штатах и ​​​​других западных странах.

Однако в эпоху AI Winter исследования за пределами США продолжались, особенно в Восточной Европе. книги Мински и Паперта о перцептронах К моменту выхода методы обучения многослойных перцептронов (MLP) уже были известны. Первая MLP глубокого обучения была опубликована Алексеем Григорьевичем Ивахненко и Валентином Лапой в 1965 году как « Групповой метод обработки данных» . Первый MLP глубокого обучения, обученный методом стохастического градиентного спуска был опубликован в 1967 году Шуничи Амари. В компьютерных экспериментах, проведенных учеником Амари Сайто, пятислойная MLP с двумя изменяемыми слоями изучила полезные внутренние представления для классификации классов нелинейно разделимых шаблонов.

Самоорганизующиеся карты (СОМ) были описаны Теуво Кохоненом в 1982 году. СОМ основаны на нейрофизиологии нейронные сети, которые изучают низкоразмерные представления многомерных данных, сохраняя при этом топологическую структуру данных. Они обучаются с использованием конкурсного обучения .

Архитектура сверточной нейронной сети (CNN) со сверточными слоями и слоями понижающей дискретизации была представлена ​​Кунихико Фукусимой в 1980 году. Он назвал это неокогнитроном . В 1969 году он также представил ReLU (выпрямленная линейная единица) функцию активации . Выпрямитель стал самой популярной функцией активации для CNN и глубоких нейронных сетей в целом. CNN стали важным инструментом компьютерного зрения .

Ключом к более поздним достижениям в исследованиях искусственных нейронных сетей стал алгоритм обратного распространения ошибки , эффективное применение Лейбница цепного правила (1673 г.). к сетям дифференцируемых узлов. Он также известен как обратный режим автоматического дифференцирования или обратного накопления , предложенный Сеппо Линнаинмаа (1970). Термин «ошибки обратного распространения ошибки» был введен в 1962 году Фрэнком Розенблаттом. но у него не было реализации этой процедуры, хотя Генри Дж. Келли и Брайсон имели динамического программирования непрерывные предшественники обратного распространения ошибки на основе уже в 1960–61 гг. в контексте теории управления . В 1973 году Дрейфус использовал обратное распространение ошибки, чтобы адаптировать параметры контроллеров пропорционально градиентам ошибок. В 1982 году Пол Вербос применил обратное распространение ошибки к MLP способом, который стал стандартным. В 1986 году Румельхарт , Хинтон и Уильямс показали, что метод обратного распространения ошибки научился интересным внутренним представлениям слов в виде векторов признаков при обучении прогнозированию следующего слова в последовательности.

В конце 1970-х - начале 1980-х годов ненадолго возник интерес к теоретическому исследованию модели Изинга, созданной Вильгельмом Ленцем (1920) и Эрнстом Изингом (1925). применительно к топологиям дерева Кэли и большим нейронным сетям . Модель Изинга по сути представляет собой необучающуюся искусственную рекуррентную нейронную сеть (RNN), состоящую из нейроноподобных пороговых элементов. В 1972 году Сюнъити Амари описал адаптивную версию этой архитектуры. В 1981 году модель Изинга была точно решена Питером Бартом для общего случая замкнутых деревьев Кэли (с петлями) с произвольным коэффициентом ветвления. и было обнаружено, что он демонстрирует необычное поведение при фазовом переходе в локальных и дальних корреляциях между сайтами. Джон Хопфилд популяризировал эту архитектуру в 1982 году. и теперь она известна как сеть Хопфилда .

Нейронная сеть с задержкой по времени (TDNN) Алекса Вайбеля (1987) объединила свертки, распределение веса и обратное распространение ошибки. В 1988 году Вэй Чжан и др. применил обратное распространение ошибки к CNN (упрощенный неокогнитрон со сверточными взаимосвязями между слоями признаков изображения и последним полностью связным слоем) для распознавания алфавита. В 1989 году Ян ЛеКун и др. обучил CNN распознавать рукописные почтовые индексы в почте. В 1992 году максимальное объединение Хуан Венг и др. представили CNN. для обеспечения инвариантности при наименьшем сдвиге и устойчивости к деформации для облегчения распознавания трехмерных объектов . LeNet-5 (1998), 7-уровневая CNN, созданная Яном ЛеКуном и др., который классифицирует цифры, был применен несколькими банками для распознавания рукописных чисел на чеках, оцифрованных в изображениях размером 32x32 пикселя.

Начиная с 1988 года, Использование нейронных сетей изменило область предсказания структуры белков , в частности, когда первые каскадные сети обучались на профилях (матрицах), полученных путем множественного выравнивания последовательностей .

В 1991 году Зеппа Хохрайтера . защитил дипломную работу выявил и проанализировал проблему исчезающего градиента и предложил повторяющиеся остаточные связи для решения этой проблемы. назвал «одним из самых важных документов в истории машинного обучения» Его диссертацию Юрген Шмидхубер .

В 1991 году Юрген Шмидхубер опубликовал состязательные нейронные сети, которые соревнуются друг с другом в форме игры с нулевой суммой , где выигрыш одной сети является проигрышем другой сети. Первая сеть представляет собой генеративную модель , которая моделирует распределение вероятностей по шаблонам выходных данных. Вторая сеть учится с помощью градиентного спуска предсказывать реакцию окружающей среды на эти закономерности. Это называлось «искусственным любопытством».

В 1992 году Юрген Шмидхубер предложил иерархию RNN, предварительно обученных по одному уровню за раз посредством самостоятельного обучения . Он использует прогнозирующее кодирование для изучения внутренних представлений в нескольких самоорганизующихся временных масштабах. Это может существенно облегчить последующее глубокое обучение. Иерархию RNN можно свернуть в единую RNN путем разделения более высокого уровня сети блоков в сеть автоматизатора более низкого уровня . В том же году он также опубликовал альтернативу RNN. который является предшественником линейного трансформатора . В нем представлена ​​концепция внутренних прожекторов внимания : медленная нейронная сеть прямого распространения учится путем градиентного спуска управлять быстрыми весами другой нейронной сети посредством внешних продуктов самогенерируемых шаблонов активации.

Развитие металл-оксид-полупроводник (МОП) сверхкрупномасштабной интеграции (СБИС) в форме дополнительной технологии МОП (КМОП) позволило увеличить количество МОП-транзисторов в цифровой электронике . Это обеспечило большую вычислительную мощность для разработки практических искусственных нейронных сетей в 1980-х годах.

Среди первых успехов нейронных сетей в 1995 году был (в основном) беспилотный автомобиль.

В 1997 году Зепп Хохрайтер и Юрген Шмидхубер представили метод глубокого обучения под названием «длинная кратковременная память» (LSTM), опубликованный в журнале Neural Computation. Рекуррентные нейронные сети LSTM могут изучать задачи «очень глубокого обучения» с длинными путями присвоения кредитов, требующими воспоминаний о событиях, произошедших за тысячи дискретных шагов времени до этого. «Ванильный LSTM» с затвором забывания был представлен в 1999 году Феликсом Герсом , Шмидхубером и Фредом Камминсом.

Джеффри Хинтон и др. (2006) предложили изучать представление высокого уровня с использованием последовательных слоев двоичных или вещественнозначных скрытых переменных с помощью ограниченной машины Больцмана. моделировать каждый слой. В 2012 году Нг и Дин создали сеть, которая научилась распознавать понятия более высокого уровня, такие как кошки, только при просмотре немаркированных изображений. Предварительное обучение без присмотра и увеличение вычислительной мощности графических процессоров и распределенных вычислений позволили использовать более крупные сети, особенно для задач распознавания изображений и визуальных эффектов, которые стали известны как «глубокое обучение».

Варианты алгоритма обратного распространения ошибки , а также неконтролируемые методы Джеффа Хинтона и его коллег из Университета Торонто могут использоваться для обучения глубоких, сильно нелинейных нейронных архитектур. похож на Неокогнитрон 1980 года Кунихико Фукусимы , и «стандартная архитектура видения», вдохновлен простыми и сложными клетками, выявленными Дэвидом Х. Хьюбелом и Торстеном Визелем в первичной зрительной коре .

Вычислительные устройства были созданы на КМОП как для биофизического моделирования, так и для нейроморфных вычислений . Более поздние усилия показывают перспективу создания наноустройств для очень крупномасштабного анализа главных компонентов и свертки . В случае успеха эти усилия могут открыть новую эру нейронных вычислений , которая станет шагом за пределы цифровых вычислений. потому что это зависит от обучения , а не от программирования , и потому что оно по своей сути является аналоговым, а не цифровым, хотя первые экземпляры на самом деле могут быть выполнены с цифровыми КМОП-устройствами.

Чиресан и коллеги (2010) показали, что, несмотря на исчезающую проблему градиента , графические процессоры делают возможным обратное распространение ошибки для многослойных нейронных сетей с прямой связью. В период с 2009 по 2012 год ИНС начали выигрывать призы в конкурсах по распознаванию изображений, приближаясь к человеческому уровню при выполнении различных задач, первоначально в распознавании образов и распознавании рукописного текста . Например, двунаправленная и многомерная длинная кратковременная память (LSTM). Грейвса и др. выиграл три конкурса по распознаванию рукописного ввода в 2009 году, не имея никаких предварительных знаний о трех языках, которые предстоит выучить.

Чиресан и его коллеги создали первые распознаватели образов, позволяющие достичь конкурентоспособных/сверхчеловеческих результатов. по таким показателям, как распознавание дорожных знаков (IJCNN, 2012).

Радиальная базисная функция и вейвлет-сети были представлены в 2013 году. Можно показать, что они обладают наилучшими аппроксимирующими свойствами и применяются в приложениях идентификации и классификации нелинейных систем.

В 2014 году принцип состязательной сети был использован в генеративно-состязательной сети (GAN) Яном Гудфеллоу и др. Здесь состязательная сеть (дискриминатор) выводит значение от 1 до 0 в зависимости от вероятности того, что выходной сигнал первой сети (генератора) находится в заданном наборе. Это можно использовать для создания реалистичных дипфейков . Превосходное качество изображения достигается с помощью Nvidia от StyleGAN (2018). на основе Progressive GAN Теро Карраса, Тимо Айлы, Самули Лайне и Яакко Лехтинена. Здесь генератор GAN растет от малого к большому по пирамидальной схеме.

В 2015 году Рупеш Кумар Шривастава, Клаус Грефф и Шмидхубер использовали принцип LSTM для создания сети Highway — нейронной сети прямого распространения с сотнями слоев, гораздо более глубокой, чем предыдущие сети. 7 месяцев спустя Каймин Хэ, Сянъюй Чжан; Шаоцин Рен и Цзянь Сунь выиграли конкурс ImageNet с открытыми воротами или без ворот сети шоссе 2015, предложив вариант под названием Остаточная нейронная сеть .

В 2017 году Ашиш Васвани и др. представили современную архитектуру Transformer в своей статье «Внимание — это все, что вам нужно». Он сочетает в себе это с оператором softmax и матрицей проекции. Трансформаторы все чаще становятся предпочтительной моделью обработки естественного языка . многие современные модели больших языков, такие как ChatGPT , GPT-4 и BERT Его используют . Трансформаторы также все чаще используются в компьютерном зрении .

Рамензанпур и др. в 2020 году показал, что аналитические и вычислительные методы, основанные на статистической физике неупорядоченных систем, можно распространить на крупномасштабные проблемы, включая машинное обучение, например, для анализа весового пространства глубоких нейронных сетей.

Модели

Дополнительная информация: Математика искусственных нейронных сетей.

Нейрон и миелинизированный аксон с потоком сигналов от входов дендритов к выходам терминалей аксона.

ИНС возникли как попытка использовать архитектуру человеческого мозга для выполнения задач, с которыми традиционные алгоритмы не имели большого успеха. Вскоре они переориентировались на улучшение эмпирических результатов, отказавшись от попыток оставаться верными своим биологическим предшественникам. ИНС обладают способностью обучаться и моделировать нелинейности и сложные взаимосвязи. Это достигается за счет соединения нейронов по различным схемам, что позволяет выходным сигналам одних нейронов становиться входными данными для других. Сеть образует ориентированный взвешенный граф .

Искусственная нейронная сеть состоит из смоделированных нейронов. Каждый нейрон связан с другими узлами посредством связей , подобных биологической связи аксон-синапс-дендрит. Все узлы, соединенные ссылками, принимают некоторые данные и используют их для выполнения определенных операций и задач с данными. Каждое звено имеет вес, определяющий силу влияния одного узла на другой. позволяя весам выбирать сигнал между нейронами.

Искусственные нейроны

ИНС состоят из искусственных нейронов , которые концептуально произошли от биологических нейронов . Каждый искусственный нейрон имеет входы и выдает один выходной сигнал, который можно отправить нескольким другим нейронам. Входными данными могут быть значения признаков выборки внешних данных, таких как изображения или документы, или выходные данные других нейронов. Выходы конечных выходных нейронов нейронной сети выполняют такую ​​задачу, как распознавание объекта на изображении.

Чтобы найти выход нейрона, мы берем взвешенную сумму всех входов, взвешенную по от входов весам связей к нейрону. Мы добавляем слагаемое смещения . к этой сумме Эту взвешенную сумму иногда называют активацией . Эта взвешенная сумма затем передается через (обычно нелинейную) функцию активации для получения выходных данных. Исходными входными данными являются внешние данные, такие как изображения и документы. Конечные результаты выполняют задачу, например, распознавание объекта на изображении.

Организация

Нейроны обычно организованы в несколько слоев, особенно при глубоком обучении . Нейроны одного слоя соединяются только с нейронами непосредственно предшествующего и непосредственно последующего слоев. Уровень, который получает внешние данные, является входным слоем . Слой, который дает конечный результат, является выходным слоем . Между ними находится ноль или более скрытых слоев . Также используются однослойные и многоуровневые сети. Между двумя слоями возможны несколько шаблонов соединения. Они могут быть «полностью связанными», когда каждый нейрон одного слоя соединяется с каждым нейроном следующего слоя. Они могут быть объединенными , когда группа нейронов в одном слое соединяется с одним нейроном в следующем слое, тем самым уменьшая количество нейронов в этом слое. Нейроны только с такими связями образуют направленный ациклический граф и известны как сети прямого распространения . Альтернативно, сети, которые обеспечивают соединения между нейронами в одном и том же или предыдущих слоях, известны как рекуррентные сети .

Гиперпараметр

Основная статья: Гиперпараметр (машинное обучение)

Гиперпараметр , — это постоянный параметр значение которого устанавливается до начала процесса обучения. Значения параметров получаются посредством обучения. Примеры гиперпараметров включают скорость обучения , количество скрытых слоев и размер пакета. Значения некоторых гиперпараметров могут зависеть от значений других гиперпараметров. Например, размер некоторых слоев может зависеть от общего количества слоев.

Обучение

См. также: Математическая оптимизация , Теория оценки и Машинное обучение.

Обучение — это адаптация сети для лучшего выполнения задачи путем рассмотрения выборочных наблюдений. Обучение включает в себя корректировку весов (и дополнительных порогов) сети для повышения точности результата. Это достигается за счет минимизации наблюдаемых ошибок. Обучение считается завершенным, когда изучение дополнительных наблюдений не снижает коэффициент ошибок. Даже после обучения частота ошибок обычно не достигает 0. Если после обучения частота ошибок слишком высока, сеть обычно необходимо перепроектировать. Практически это делается путем определения функции стоимости , которая периодически оценивается во время обучения. Пока его производительность продолжает снижаться, обучение продолжается. Стоимость часто определяется как статистика , значение которой может быть только приблизительно оценено. Выходные данные на самом деле представляют собой числа, поэтому, когда ошибка мала, разница между выходными данными (почти наверняка кот) и правильным ответом (кошка) невелика. Обучение пытается уменьшить общую сумму различий между наблюдениями. Большинство моделей обучения можно рассматривать как простое применение теория оптимизации и статистическое оценивание .

Скорость обучения

Основная статья: Скорость обучения

Скорость обучения определяет размер корректирующих шагов, которые модель предпринимает для корректировки ошибок в каждом наблюдении. Высокая скорость обучения сокращает время обучения, но с более низкой предельной точностью, тогда как более низкая скорость обучения требует больше времени, но с потенциалом большей точности. Оптимизации, такие как Quickprop, в первую очередь направлены на ускорение минимизации ошибок, тогда как другие улучшения в основном направлены на повышение надежности. Чтобы избежать колебаний внутри сети, таких как переменный вес соединения, и улучшить скорость сходимости, в уточнениях используется адаптивная скорость обучения , которая увеличивается или уменьшается по мере необходимости. Концепция импульса позволяет взвесить баланс между градиентом и предыдущим изменением, так что корректировка веса в некоторой степени зависит от предыдущего изменения. Импульс, близкий к 0, подчеркивает градиент, а значение, близкое к 1, подчеркивает последнее изменение.

Функция стоимости

Хотя можно определить функцию стоимости ad hoc , часто выбор определяется желаемыми свойствами функции (такими как выпуклость модели ) или тем, что она вытекает из модели (например, в вероятностной модели апостериорная вероятность может использоваться как обратная функция ). расходы).

Обратное распространение ошибки

Основная статья: Обратное распространение ошибки

Обратное распространение ошибки — это метод, используемый для корректировки весов соединений для компенсации каждой ошибки, обнаруженной во время обучения. Сумма ошибки эффективно распределяется между соединениями. Технически обратное распространение вычисляет градиент (производную) функции стоимости , связанной с данным состоянием, по отношению к весам. Обновления веса могут быть выполнены с помощью стохастического градиентного спуска или других методов, таких как машины экстремального обучения . сети «без опоры», обучение без возврата, «невесомые» сети, и неконнекционистские нейронные сети .

обучения

Машинное обучение обычно разделяют на три основные парадигмы обучения: обучение с учителем , обучение без присмотра и обучение с подкреплением . Каждый соответствует определенной учебной задаче.

Обучение под присмотром

Обучение с учителем использует набор парных входов и желаемых результатов. Задача обучения состоит в том, чтобы получить желаемый результат для каждого входа. В этом случае функция затрат связана с устранением неверных вычетов. Обычно используемая стоимость — это среднеквадратическая ошибка , которая пытается минимизировать среднеквадратическую ошибку между выходными данными сети и желаемыми выходными данными. Задачи, подходящие для обучения с учителем, — это распознавание образов (также известное как классификация) и регрессия (также известная как аппроксимация функций). Обучение с учителем также применимо к последовательным данным (например, для распознавания рукописного текста, речи и жестов ). Это можно рассматривать как обучение с «учителем» в виде функции, обеспечивающей непрерывную обратную связь о качестве полученных к настоящему моменту решений.

Обучение без присмотра

При обучении без учителя входные данные передаются вместе с функцией стоимости, некоторой функцией данных. $\textstyle x$и выход сети. Функция стоимости зависит от задачи (области модели) и любых априорных предположений (неявных свойств модели, ее параметров и наблюдаемых переменных). В качестве тривиального примера рассмотрим модель $\textstyle f(x)=a$ где $\textstyle a$ является константой, а стоимость $\textstyle C=E[(x-f(x))^{2}]$. Минимизация этих затрат дает ценность $\textstyle a$это равно среднему значению данных. Функция стоимости может быть гораздо более сложной. Его форма зависит от приложения: например, при сжатии это может быть связано с взаимной информацией между $\textstyle x$ и $\textstyle f(x)$, тогда как в статистическом моделировании это может быть связано с апостериорной вероятностью модели с учетом данных (обратите внимание, что в обоих этих примерах эти величины будут максимизированы, а не минимизированы). Задачи, подпадающие под парадигму обучения без учителя, относятся к общей оценки задачам ; приложения включают кластеризацию , оценку статистических распределений , сжатие и фильтрацию .

Обучение с подкреплением

Основная статья: Обучение с подкреплением

См. Также: Стохастический контроль.

В таких приложениях, как видеоигры, актер выполняет ряд действий, после каждого из которых получает в целом непредсказуемый ответ от окружающей среды. Цель состоит в том, чтобы выиграть игру, т. е. получить наиболее положительные (с наименьшими затратами) ответы. Целью обучения с подкреплением является взвешивание сети (разработка политики) для выполнения действий, которые минимизируют долгосрочные (ожидаемые совокупные) затраты. В каждый момент времени агент выполняет действие, а среда генерирует наблюдение и мгновенную стоимость в соответствии с некоторыми (обычно неизвестными) правилами. Правила и долгосрочные затраты обычно можно только оценить. В любой момент агент решает, следует ли исследовать новые действия, чтобы выявить связанные с ними затраты, или использовать предыдущее обучение, чтобы действовать быстрее.

Формально среда моделируется как марковский процесс принятия решений (MDP) с состояниями. $\textstyle {s_{1},...,s_{n}}\in S$ и действия $\textstyle {a_{1},...,a_{m}}\in A$. Поскольку переходы между состояниями неизвестны, вместо них используются распределения вероятностей: мгновенное распределение стоимости. $\textstyle P(c_{t}|s_{t})$, распределение наблюдений $\textstyle P(x_{t}|s_{t})$ и переходное распределение $\textstyle P(s_{t+1}|s_{t},a_{t})$, а политика определяется как условное распределение действий с учетом наблюдений. В совокупности они определяют цепь Маркова (MC). Цель состоит в том, чтобы найти самый дешевый MC.

ИНС служат компонентом обучения в таких приложениях. Динамическое программирование в сочетании с ИНС (обеспечивающее нейродинамическое программирование) был применен к таким проблемам, как определение маршрута транспортных средств , видеоигры, управление природными ресурсами и медицина из-за способности ИНС смягчать потери точности даже при уменьшении плотности сетки дискретизации для численной аппроксимации решения задач управления. Задачи, подпадающие под парадигму обучения с подкреплением, — это задачи управления, игры и другие задачи последовательного принятия решений.

Самообучение

Самообучение в нейронных сетях было представлено в 1982 году вместе с нейронной сетью, способной к самообучению, названной перекрестной адаптивной матрицей (CAA). Это система только с одним входом, ситуацией s, и только одним выходом, действием (или поведением) a. Он не имеет ни внешних рекомендаций, ни внешнего подкрепления из окружающей среды. CAA перекрестно вычисляет как решения о действиях, так и эмоции (чувства) в отношении возникших ситуаций. Система управляется взаимодействием познания и эмоций. Учитывая матрицу памяти W =||w(a,s)||, алгоритм самообучения перекрестной панели на каждой итерации выполняет следующие вычисления:

В ситуации s выполните действие a;
   Получать последствия ситуации;
   Вычислить эмоции от нахождения в следственной ситуации v(s');
   Обновить память перекрестия w'(a,s) = w(a,s) + v(s').
 

Значение обратного распространения (вторичное подкрепление) — это эмоция по отношению к последствиям ситуации. ВГА существует в двух средах: одна - поведенческая среда, в которой он ведет себя, и другая - генетическая среда, откуда он первоначально и только один раз получает первоначальные эмоции о том, с какими ситуациями придется столкнуться в поведенческой среде. Получив геномный вектор (вектор вида) из генетической среды, ВГА научится целенаправленному поведению в поведенческой среде, содержащей как желательные, так и нежелательные ситуации.

Нейроэволюция

Основная статья: Нейроэволюция

Нейроэволюция может создавать топологии и веса нейронных сетей с использованием эволюционных вычислений . Он конкурирует со сложными подходами градиентного спуска. . Одним из преимуществ нейроэволюции является то, что она менее склонна заходить в «тупики».

Стохастическая нейронная сеть

Стохастические нейронные сети , возникшие на основе моделей Шеррингтона-Киркпатрика, представляют собой тип искусственных нейронных сетей, построенных путем введения в сеть случайных изменений либо путем присвоения искусственным нейронам сети стохастических передаточных функций, либо путем присвоения им стохастических весов. Это делает их полезными инструментами для решения задач оптимизации , поскольку случайные колебания помогают сети избежать локальных минимумов . Стохастические нейронные сети, обученные с использованием байесовского подхода, известны как байесовские нейронные сети .

Другое

В байесовской системе распределение по множеству разрешенных моделей выбирается для минимизации затрат. Эволюционные методы , программирование экспрессии генов , имитация отжига , ожидание-максимизация , непараметрические методы и оптимизация роя частиц другие алгоритмы обучения. Конвергентная рекурсия — это алгоритм обучения нейронных сетей контроллера артикуляции модели мозжечка (CMAC).

Режимы

Доступны два режима обучения: стохастический и пакетный. При стохастическом обучении каждый ввод создает корректировку веса. При пакетном обучении веса корректируются на основе пакета входных данных, накапливая ошибки по всему пакету. Стохастическое обучение вносит в процесс «шум», используя локальный градиент, рассчитанный на основе одной точки данных; это снижает вероятность того, что сеть застрянет в локальных минимумах. Однако пакетное обучение обычно обеспечивает более быстрый и стабильный спуск к локальному минимуму, поскольку каждое обновление выполняется в направлении средней ошибки пакета. Распространенным компромиссом является использование «мини-партий», небольших партий, в каждой партии образцы которых выбираются стохастически из всего набора данных.

Типы

Основная статья: Типы искусственных нейронных сетей

ИНС превратились в широкое семейство методов, которые продвинули современный уровень техники во многих областях. Простейшие типы имеют один или несколько статических компонентов, включая количество модулей, количество слоев, веса модулей и топологию . Динамические типы позволяют одному или нескольким из них развиваться посредством обучения. Последнее намного сложнее, но может сократить период обучения и дать лучшие результаты. Некоторые типы позволяют/требуют обучения под «контролем» оператора, тогда как другие работают независимо. Некоторые типы работают исключительно аппаратно, тогда как другие являются чисто программными и работают на компьютерах общего назначения.

Некоторые из основных прорывов включают в себя:

• Сверточные нейронные сети , доказавшие свою эффективность в обработке визуальных и других двумерных данных; где длинная кратковременная память позволяет избежать проблемы исчезающего градиента и может обрабатывать сигналы, которые имеют смесь низкочастотных и высокочастотных компонентов, что способствует распознаванию речи с большим словарным запасом, синтез текста в речь, и фотореалистичные говорящие головы;
• Конкурентные сети, такие как генеративно-состязательные сети , в которых несколько сетей (разной структуры) конкурируют друг с другом в таких задачах, как победа в игре. или обмануть оппонента относительно подлинности вводимых данных.

Сетевой дизайн

Использование искусственных нейронных сетей требует понимания их характеристик.

• Выбор модели: зависит от представления данных и приложения. Параметры модели включают количество, тип и связность сетевых слоев, а также размер каждого и тип соединения (полное, пуловое и т. д.). Слишком сложные модели обучаются медленно.
• Алгоритм обучения . Между алгоритмами обучения существует множество компромиссов. Практически любой алгоритм будет хорошо работать с правильными гиперпараметрами. для обучения на конкретном наборе данных. Однако выбор и настройка алгоритма обучения на невидимых данных требует значительного экспериментирования.
• Устойчивость : если модель, функция стоимости и алгоритм обучения выбраны правильно, результирующая ИНС может стать устойчивой.

Поиск нейронной архитектуры (NAS) использует машинное обучение для автоматизации проектирования ИНС. Различные подходы к NAS позволяют создавать сети, которые не уступают системам, созданным вручную. Основной алгоритм поиска заключается в том, чтобы предложить модель-кандидат, сравнить ее с набором данных и использовать результаты в качестве обратной связи для обучения сети NAS. Доступные системы включают AutoML и AutoKeras. Библиотека scikit-learn предоставляет функции, помогающие построить глубокую сеть с нуля. Затем мы можем реализовать глубокую сеть с помощью TensorFlow или Keras .

Гиперпараметры также должны быть определены как часть проекта (они не изучаются), определяя такие вопросы, как количество нейронов в каждом слое, скорость обучения, шаг, шаг, глубина, рецептивное поле и заполнение (для CNN) и т. д.

Фрагмент кода Python предоставляет обзор функции обучения, которая использует набор обучающих данных, количество модулей скрытого слоя, скорость обучения и количество итераций в качестве параметров:

def   train  (  X  ,   y  ,   n_hidden  ,   Learning_rate  ,   n_iter  ) 
     m  ,   n_input   =   X.  :   форма 

     № 1. случайная инициализация весов и смещений 
     w1   =   np  .   случайный  .   randn  (  n_input  ,   n_hidden  ) 
     b1   =   np  .   нули  ((  1  ,   n_hidden  )) 
     w2   =   np  .   случайный  .   randn  (  n_hidden  ,   1  ) 
     b2   =   np  .   нули  ((  1  ,   1  )) 

     # 2. на каждой итерации кормить все слои последними весами и смещениями 
     для   i   в   диапазоне  (  n_iter   +   1  ): 
         z2   =   np  .   точка  (  X  ,   w1  )   +   b1 
         a2   =   сигмовидная  (  z2  ) 
         z3   =   np  .   точка  (  a2  ,   w2  )   +   b2 
         a3   знак равно   z3 
         dz3 знак   равно   a3   -   y 
         dw2   =   np  .   точка  (  а2  .  Т  ,   dz3  ) 
         db2   знак равно   np  .   сумма  (  dz3  ,   ось  =  0  ,   keepdims  =  True  ) 
         dz2   =   np  .   точка  (  dz3  ,   w2  .  T  )   *   sigmoid_derivative  (  z2  ) 
         dw1   =   np  .   точка  (  Икс  .  Т  ,   dz2  ) 
         db1   знак равно   np  .   sum  (  dz2  ,   axis  =  0  ) 

         # 3. обновить веса и смещения с помощью градиентов 
         w1   -=   скорость_обучения   *   dw1   /   m 
         w2   -=   скорость_обучения   *   dw2   /   m 
         b1   -=   скорость_обучения   *   db1   /   m 
         b2   -=   скорость_обучения   *   db2   /   m 

         if   i   %   1000   ==   0  : 
             print  (  "Epoch"  ,   i  ,   "loss: "  ,   np  .mean  "  (  np  .  Square  (  dz3  ))) 

     model   =   {  "w1"  :   w1  ,   b1"  :   b1  ,   "w2"  :   w2  ,   "b2"  :   b2  } 
     возвращаем   модель 

Приложения

Благодаря своей способности воспроизводить и моделировать нелинейные процессы искусственные нейронные сети нашли применение во многих дисциплинах. К ним относятся:

• Аппроксимация функции , или регрессионный анализ , (включая прогнозирование временных рядов , аппроксимацию пригодности , и моделирование)
• Обработка данных (включая фильтрацию, кластеризацию, слепое разделение источников , и сжатие)
• Идентификация нелинейной системы и управление (включая управление транспортным средством, прогнозирование траектории, адаптивное управление , управление процессами и управление природными ресурсами )
• Распознавание образов (включая радиолокационные системы, идентификация лиц , классификация сигналов, обнаружение новизны , 3D реконструкция , распознавание объектов и последовательное принятие решений )
• Распознавание последовательностей (включая жесты , речь , распознавание рукописного и печатного текста) )
• Анализ данных датчиков (включая анализ изображений )
• Робототехника (в том числе управляющие манипуляторы и протезы )
• Интеллектуальный анализ данных (включая обнаружение знаний в базах данных )
• Финансы (например, прогнозные модели для конкретных финансовых долгосрочных прогнозов и искусственные финансовые рынки )
• Квантовая химия
• Общая игра
• Генеративный ИИ
• Визуализация данных
• Машинный перевод
• Фильтрация социальных сетей
• спама в электронной почте Фильтрация
• Медицинский диагноз

ИНС использовались для диагностики нескольких типов рака. и отличить высокоинвазивные линии раковых клеток от менее инвазивных линий, используя только информацию о форме клеток.

ИНС использовались для ускорения анализа надежности инфраструктур, подверженных стихийным бедствиям. и прогнозировать осадки фундамента. Также может быть полезно смягчить последствия наводнений за счет использования ИНС для моделирования дождевого стока. ИНС также использовались для построения моделей «черного ящика» в геонауках : гидрологии , моделирование океана и прибрежная инженерия , и геоморфология . ИНС используются в сфере кибербезопасности с целью отличить законную деятельность от злонамеренной. Например, машинное обучение использовалось для классификации вредоносных программ для Android. для идентификации доменов, принадлежащих субъектам угроз, и для обнаружения URL-адресов, представляющих угрозу безопасности. Ведутся исследования систем ИНС, предназначенных для тестирования на проникновение, обнаружения ботнетов, мошенничество с кредитными картами и сетевые вторжения.

ИНС были предложены как инструмент для решения уравнений в частных производных в физике. и моделировать свойства открытых квантовых систем многих тел . В исследованиях мозга ИНС изучали кратковременное поведение отдельных нейронов . динамика нейронных цепей возникает в результате взаимодействия между отдельными нейронами и того, как поведение может возникать из абстрактных нейронных модулей, которые представляют собой целые подсистемы. В исследованиях рассматривалась долгосрочная и краткосрочная пластичность нейронных систем и их связь с обучением и памятью от отдельного нейрона до системного уровня.

По картинкам можно создать профиль интересов пользователя, используя искусственные нейронные сети, обученные распознаванию объектов.

Помимо традиционных приложений, искусственные нейронные сети все чаще используются в междисциплинарных исследованиях, таких как материаловедение. Например, графовые нейронные сети (GNN) продемонстрировали свою способность масштабировать глубокое обучение для открытия новых стабильных материалов путем эффективного прогнозирования полной энергии кристаллов. Это приложение подчеркивает адаптивность и потенциал ИНС в решении сложных проблем, выходящих за рамки прогнозного моделирования и искусственного интеллекта, открывая новые пути для научных открытий и инноваций.

Теоретические свойства

Вычислительная мощность

Многослойный перцептрон является универсальным аппроксиматором функции , что доказано теоремой об универсальной аппроксимации . Однако доказательство не является конструктивным в отношении количества необходимых нейронов, топологии сети, весов и параметров обучения.

Особая рекуррентная архитектура с рациональными весами (в отличие от вещественных весов с полной точностью) обладает мощью универсальной машины Тьюринга . с использованием конечного числа нейронов и стандартных линейных связей. Кроме того, использование иррациональных значений весов приводит к созданию машины с супермощью Тьюринга .

Вместимость

Свойство модели «емкость» соответствует ее способности моделировать любую заданную функцию. Это связано с объемом информации, которая может храниться в сети, и с понятием сложности. Сообществу известны два понятия емкости. Информационная емкость и размерность венчурного капитала. Информационная емкость перцептрона интенсивно обсуждается в книге сэра Дэвида Маккея. который суммирует работу Томаса Ковера. Емкость сети стандартных нейронов (не сверточных) можно определить по четырем правилам: которые вытекают из понимания нейрона как электрического элемента. Информационная емкость охватывает функции, моделируемые сетью, если на входе имеются любые данные. Второе понятие — это размер венчурного капитала . VC Dimension использует принципы теории меры и находит максимальную мощность при наилучших возможных обстоятельствах. Это если ввести входные данные в определенном виде. Как отмечается в, Размерность VC для произвольных входных данных составляет половину информационной емкости персептрона. Размер VC для произвольных точек иногда называют объемом памяти.

Конвергенция

Модели могут не всегда сходиться к единому решению, во-первых, потому, что могут существовать локальные минимумы, в зависимости от функции стоимости и модели. Во-вторых, используемый метод оптимизации может не гарантировать сходимость, когда он начинается далеко от любого локального минимума. В-третьих, при достаточно больших данных или параметрах некоторые методы становятся непрактичными.

Еще одна проблема, о которой стоит упомянуть, заключается в том, что обучение может пересечь некоторую седловую точку , что может привести к сближению в неправильном направлении.

Поведение конвергенции определенных типов архитектур ИНС более понятно, чем других. Когда ширина сети приближается к бесконечности, ИНС хорошо описывается расширением Тейлора первого порядка на протяжении всего обучения и, таким образом, наследует поведение сходимости аффинных моделей . Другой пример: когда параметры малы, замечено, что ИНС часто соответствуют целевым функциям от низких до высоких частот. Такое поведение называется спектральным смещением или частотным принципом нейронных сетей. Это явление противоположно поведению некоторых хорошо изученных итерационных численных схем, таких как метод Якоби . Было замечено, что более глубокие нейронные сети более склонны к низкочастотным функциям.

Обобщение и статистика

Приложения, целью которых является создание системы, которая хорошо обобщает невидимые примеры, сталкиваются с возможностью переобучения. Это возникает в запутанных или переопределенных системах, когда пропускная способность сети значительно превышает необходимые свободные параметры. Два подхода касаются перетренированности. Первый — использовать перекрестную проверку и подобные методы для проверки наличия переобучения и выбора гиперпараметров для минимизации ошибки обобщения.

Второй — использовать некоторую форму регуляризации . Эта концепция возникает в вероятностной (байесовской) структуре, где регуляризация может быть выполнена путем выбора большей априорной вероятности среди более простых моделей; но также и в статистической теории обучения, где целью является минимизация двух величин: «эмпирического риска» и «структурного риска», который примерно соответствует ошибке в обучающем наборе и прогнозируемой ошибке в невидимых данных из-за переобучения.

Доверительный анализ нейронной сети

Контролируемые нейронные сети, использующие функцию стоимости среднеквадратической ошибки (MSE), могут использовать формальные статистические методы для определения достоверности обученной модели. MSE в наборе проверки можно использовать в качестве оценки дисперсии. Это значение затем можно использовать для расчета доверительного интервала выходных данных сети, предполагая нормальное распределение . Проведенный таким образом доверительный анализ является статистически достоверным до тех пор, пока распределение выходных вероятностей остается прежним и сеть не изменяется.

Присвоив функцию активации softmax , обобщение логистической функции , на выходном слое нейронной сети (или компоненту softmax в сети, основанной на компонентах) для категориальных целевых переменных, выходные данные можно интерпретировать как апостериорные вероятности. Это полезно при классификации, поскольку дает меру достоверности классификаций.

Функция активации softmax:

$y_{i}={\frac {e^{x_{i}}}{\sum _{j=1}^{c}e^{x_{j}}}}$

Критика

Обучение

Распространенная критика нейронных сетей, особенно в робототехнике, заключается в том, что им требуется слишком много обучающих выборок для реальной работы. Любая обучающаяся машина нуждается в достаточном количестве репрезентативных примеров, чтобы уловить основную структуру, позволяющую обобщать ее на новые случаи. Потенциальные решения включают случайное перетасовывание обучающих примеров с использованием алгоритма числовой оптимизации, который не делает слишком больших шагов при изменении сетевых подключений по примеру, группировку примеров в так называемые мини-пакеты и/или введение рекурсивного алгоритма наименьших квадратов для CMAC. . Дин Померло использует нейронную сеть для обучения роботизированного транспортного средства езде по нескольким типам дорог (однополосные, многополосные, грунтовые и т. д.), и большой объем его исследований посвящен экстраполяции нескольких сценариев обучения на основе одного обучения. опыт и сохранение разнообразия прошлых тренировок, чтобы система не перетренировалась (если, например, ей предлагается серия поворотов направо — она не должна учиться всегда поворачивать направо).

Теория

Центральная претензия ИНС заключается в том, что они воплощают в себе новые и мощные общие принципы обработки информации. Эти принципы нечетко определены. Часто утверждают что они возникают из самой сети. Это позволяет описать простую статистическую ассоциацию (основную функцию искусственных нейронных сетей) как обучение или распознавание. В 1997 году Александр Дьюдни , бывший обозреватель Scientific American , заметил, что в результате искусственные нейронные сети приобретают «качество «что-то ради ничего», которое придает своеобразную ауру лени и явное отсутствие любопытства по поводу того, насколько хороши эти сети. вычислительные системы не вмешиваются; решения находятся как по волшебству, и никто, кажется, ничему не научился». Один из ответов Дьюдни заключается в том, что нейронные сети успешно используются для решения многих сложных и разнообразных задач, начиная от автономного управления самолетом от обнаружения мошенничества с кредитными картами до овладения игрой в го .

Писатель-технолог Роджер Бриджмен прокомментировал:

Нейронные сети, например, находятся на скамье подсудимых не только потому, что их разрекламировали до небес (а что нет?), но и потому, что вы можете создать успешную сеть, не понимая, как она работает: набор чисел, фиксирующих ее поведение, по всей вероятности, будет «непрозрачной, нечитаемой таблицей… бесполезной как научный ресурс».

Несмотря на свое решительное заявление о том, что наука — это не технология, Дьюдни, похоже, выставляет нейронные сети к позорному столбу как плохую науку, тогда как большинство из тех, кто их разрабатывает, просто пытаются быть хорошими инженерами. Нечитаемая таблица, которую может прочитать полезная машина, все равно стоит иметь.

Хотя это правда, что анализировать то, что было изучено искусственной нейронной сетью, сложно, сделать это гораздо проще, чем анализировать то, что было изучено биологической нейронной сетью. Более того, недавний акцент на объяснимости ИИ способствовал развитию методов, особенно основанных на механизмах внимания , для визуализации и объяснения изученных нейронных сетей. Более того, исследователи, занимающиеся изучением алгоритмов обучения нейронных сетей, постепенно раскрывают общие принципы, которые позволяют обучающимся машинам быть успешными. Например, Бенджио и ЛеКун (2007) написали статью о локальном и нелокальном обучении, а также о поверхностной и глубокой архитектуре.

Биологический мозг использует как поверхностные, так и глубокие цепи, как сообщает анатомия мозга. демонстрируя широкий спектр инвариантности. Венг утверждал, что мозг самостоятельно подключается в основном в соответствии со статистикой сигналов, и поэтому последовательный каскад не может уловить все основные статистические зависимости.

Аппаратное обеспечение

Большие и эффективные нейронные сети требуют значительных вычислительных ресурсов. Хотя в мозгу есть аппаратное обеспечение, предназначенное для обработки сигналов через граф нейронов, моделирование даже упрощенного нейрона на архитектуре фон Неймана может потребовать огромных объемов памяти и хранилища. Более того, разработчику часто приходится передавать сигналы через многие из этих соединений и связанных с ними нейронов, что требует огромной мощности процессора и времени.

Шмидхубер отметил, что возрождение нейронных сетей в двадцать первом веке во многом связано с достижениями в области аппаратного обеспечения: с 1991 по 2015 год вычислительная мощность, особенно с помощью GPGPU (на графических процессорах ), увеличилась примерно в миллион раз, в результате чего стандартный алгоритм обратного распространения ошибки возможен для обучающих сетей, которые находятся на несколько уровней глубже, чем раньше. Использование ускорителей, таких как FPGA и GPU, может сократить время обучения с месяцев до дней.

Нейроморфная инженерия или физическая нейронная сеть напрямую решают аппаратные трудности, создавая чипы, не относящиеся к фон Нейману, для непосредственной реализации нейронных сетей в схемах. Другой тип чипа, оптимизированный для обработки нейронных сетей, называется тензорным процессором или TPU.

Практические

Анализировать то, что узнала ИНС, гораздо проще, чем анализировать то, что узнала биологическая нейронная сеть. Более того, исследователи, изучающие алгоритмы обучения нейронных сетей, постепенно раскрывают общие принципы, которые позволяют обучающимся машинам быть успешными. Например, локальное и нелокальное обучение и поверхностная и глубокая архитектура.

Гибридные подходы

Сторонники гибридных моделей (объединяющих нейронные сети и символические подходы) говорят, что такая смесь может лучше отразить механизмы человеческого разума.

Смещение набора данных

Нейронные сети зависят от качества данных, на которых они обучаются, поэтому данные низкого качества с несбалансированной репрезентативностью могут привести к обучению модели и закреплению социальных предубеждений. Эти унаследованные предубеждения становятся особенно критичными, когда ИНС интегрируются в реальные сценарии, где обучающие данные могут быть несбалансированными из-за нехватки данных для конкретной расы, пола или другого признака. Этот дисбаланс может привести к тому, что модель будет иметь неадекватное представление и понимание недостаточно представленных групп, что приведет к дискриминационным результатам, которые усугубят социальное неравенство, особенно в таких приложениях, как распознавание лиц , процессы найма и правоохранительная деятельность . Например, в 2018 году Amazon пришлось отказаться от инструмента подбора персонала, потому что модель отдавала предпочтение мужчинам, а не женщинам на должностях в области разработки программного обеспечения из-за большего количества работников-мужчин в этой области. Программа будет наказывать любое резюме со словом «женщина» или названием любого женского колледжа. Однако использование синтетических данных может помочь уменьшить предвзятость набора данных и повысить представленность в наборах данных.

Галерея

• 
  Однослойная искусственная нейронная сеть прямого распространения. Стрелки, исходящие из $\scriptstyle x_{2}$опущены для ясности. Эта сеть имеет p входов и q выходов. В этой системе значение q-го выхода, $y_{q}$, рассчитывается как $\scriptstyle y_{q}=K*(\sum _{i}(x_{i}*w_{iq})-b_{q}).$
• 
  Двухслойная искусственная нейронная сеть прямого распространения
• 
  Искусственная нейронная сеть
• 
  Граф зависимости ИНС
• 
  Однослойная искусственная нейронная сеть прямого распространения с 4 входами, 6 скрытыми узлами и 2 выходами. Учитывая состояние положения и направление, он выводит значения управления на основе колеса.
• 
  Двухслойная искусственная нейронная сеть прямого распространения с 8 входами, 2x8 скрытыми узлами и 2 выходами. Учитывая состояние положения, направление и другие значения окружающей среды, он выводит значения управления на основе подруливающего устройства.
• 
  Параллельная конвейерная структура нейронной сети CMAC. Этот алгоритм обучения может сходиться за один шаг.

Последние достижения и будущие направления

Искусственные нейронные сети (ИНС) претерпели значительные усовершенствования, особенно в их способности моделировать сложные системы, обрабатывать большие наборы данных и адаптироваться к различным типам приложений. Их эволюция за последние несколько десятилетий была отмечена широким спектром приложений в таких областях, как обработка изображений, распознавание речи, обработка естественного языка, финансы и медицина.

Обработка изображений

В области обработки изображений ИНС используются для таких задач, как классификация изображений, распознавание объектов и сегментация изображений. Например, глубокие сверточные нейронные сети (CNN) сыграли важную роль в распознавании рукописных цифр, обеспечив современную производительность. Это демонстрирует способность ИНС эффективно обрабатывать и интерпретировать сложную визуальную информацию, что приводит к прогрессу в самых разных областях: от автоматического наблюдения до медицинской визуализации.

Распознавание речи

Моделируя речевые сигналы, ИНС используются для таких задач, как идентификация говорящего и преобразование речи в текст. Архитектура глубоких нейронных сетей внесла значительные улучшения в распознавание непрерывной речи с большим словарным запасом, превосходя традиционные методы. Эти достижения позволили разработать более точные и эффективные системы с голосовым управлением, улучшающие пользовательские интерфейсы в технологических продуктах.

Обработка естественного языка

При обработке естественного языка ИНС используются для таких задач, как классификация текста, анализ настроений и машинный перевод. Они позволили разработать модели, которые могут точно переводить между языками, понимать контекст и тональность текстовых данных, а также классифицировать текст на основе содержания. Это имеет значение для автоматизированного обслуживания клиентов, модерации контента и технологий понимания языка.

Системы управления

В области систем управления ИНС используются для моделирования динамических систем для таких задач, как идентификация системы, проектирование управления и оптимизация. Например, нейронные сети глубокого прямого распространения важны в приложениях идентификации и управления системами.

Финансы

Дополнительная информация: Применение искусственного интеллекта § Торговля и инвестиции.

ИНС используются для прогнозирования фондового рынка и кредитного скоринга :

• При инвестировании ИНС могут обрабатывать огромные объемы финансовых данных, распознавать сложные закономерности и прогнозировать тенденции фондового рынка, помогая инвесторам и риск-менеджерам принимать обоснованные решения.
• В кредитном скоринге ИНС предлагают персонализированную оценку кредитоспособности на основе данных, повышая точность прогнозов дефолта и автоматизируя процесс кредитования.

ИНС требуют высококачественных данных и тщательной настройки, а их природа «черного ящика» может создавать проблемы при интерпретации. Тем не менее, продолжающиеся достижения позволяют предположить, что ИНС продолжают играть роль в финансах, предлагая ценную информацию и улучшая стратегии управления рисками .

Медицина

ИНС способны обрабатывать и анализировать огромные наборы медицинских данных. Они повышают точность диагностики, особенно за счет интерпретации сложных медицинских изображений для раннего выявления заболеваний и прогнозирования результатов лечения пациентов для индивидуального планирования лечения. При открытии лекарств ИНС ускоряют идентификацию потенциальных кандидатов на лекарства и прогнозируют их эффективность и безопасность, значительно сокращая время и затраты на разработку. Кроме того, их применение в персонализированной медицине и анализе данных здравоохранения позволяет разрабатывать индивидуальные методы лечения и эффективно управлять уходом за пациентами. Продолжающиеся исследования направлены на решение остающихся проблем, таких как конфиденциальность данных и интерпретируемость моделей, а также на расширение сферы применения ИНС в медицине.

Создание контента

ИНС, такие как генеративно-состязательные сети ( GAN ) и преобразователи, используются для создания контента во многих отраслях. Это связано с тем, что модели глубокого обучения способны изучать стиль художника или музыканта на основе огромных наборов данных и создавать совершенно новые произведения искусства и музыкальные композиции. Например, DALL-E — это глубокая нейронная сеть, обученная на 650 миллионах пар изображений и текстов в Интернете, которая может создавать произведения искусства на основе текста, введенного пользователем. В области музыки трансформеры используются для создания оригинальной музыки для рекламных роликов и документальных фильмов такими компаниями, как AIVA и Jukedeck . В маркетинговой индустрии генеративные модели используются для создания персонализированной рекламы для потребителей. Кроме того, крупные кинокомпании сотрудничают с технологическими компаниями для анализа финансового успеха фильма, например, партнерство между Warner Bros и технологической компанией Cinelytic, основанное в 2020 году. Кроме того, нейронные сети нашли применение при создании видеоигр, где неигровые персонажи (NPC) могут принимать решения на основе всех персонажей, находящихся в данный момент в игре.

См. также

• АДАЛИН
• Автоэнкодер
• Биологические вычисления
• Проект Голубого Мозга
• Катастрофическое вмешательство
• Когнитивная архитектура
• Коннекционистская экспертная система
• Коннектомика
• Глубокое изображение до
• Цифровой морфогенез
• Эффективно обновляемая нейронная сеть
• Эволюционный алгоритм
• Генетический алгоритм
• Гиперпространственные вычисления
• Адаптивное табулирование на месте
• Большие ограничения ширины нейронных сетей
• Список концепций машинного обучения
• Мемристор
• Нейронный газ
• Программное обеспечение для нейронных сетей
• Оптическая нейронная сеть
• Параллельная распределенная обработка
• Философия искусственного интеллекта
• Прогнозная аналитика
• Квантовая нейронная сеть
• Машина опорных векторов
• Пиковая нейронная сеть
• Стохастический попугай
• Тензорная продуктовая сеть

Внешние ссылки

• Краткое введение в нейронные сети (Д. Кризель) — иллюстрированная двуязычная рукопись об искусственных нейронных сетях; Темы на данный момент: перцептроны, обратное распространение ошибки, радиальные базисные функции, рекуррентные нейронные сети, самоорганизующиеся карты, сети Хопфилда.
• Обзор нейронных сетей в материаловедении. Архивировано 7 июня 2015 г. в Wayback Machine.
• Искусственные нейронные сети (Мадридский политехнический университет)
• Еще одно знакомство с ИНС
• Следующее поколение нейронных сетей. Архивировано 24 января 2011 г. на Wayback Machine — Google Tech Talks.
• Производительность нейронных сетей
• Нейронные сети и информация. Архивировано 9 июля 2009 г. в Wayback Machine.
• Сандерсон Дж. (5 октября 2017 г.). «Но что такое нейронная сеть?» . 3Синий1Коричневый . Архивировано из оригинала 7 ноября 2021 года — на YouTube .

Библиография

• Бхадешиа HKDH (1999). «Нейронные сети в материаловедении» (PDF) . ISIJ International . 39 (10): 966–979. дои : 10.2355/isijinternational.39.966 .
• Епископ К.М. (1995). Нейронные сети для распознавания образов . Кларендон Пресс. ISBN  978-0-19-853849-3 . ОСЛК   33101074 .
• Боргельт С (2003). Нейро-нечеткие системы: от основ искусственных нейронных сетей до связи с нечеткими системами . Посмотретьег. ISBN  978-3-528-25265-6 . OCLC   76538146 .
• Цыбенко Г (2006). «Приближение суперпозициями сигмоидальной функции» . В ван Шуппене Дж. Х. (ред.). Математика управления, сигналов и систем . Спрингер Интернэшнл. стр. 303–314. PDF
• Дьюдни АК (1997). Да, у нас нет нейтронов: поучительный экскурс в перипетии плохой науки . Нью-Йорк: Уайли. ISBN  978-0-471-10806-1 . OCLC   35558945 .
• Дуда Р.О., Харт П.Е., Сторк Д.Г. (2001). Классификация узоров (2-е изд.). Уайли. ISBN  978-0-471-05669-0 . OCLC   41347061 .
• Эгмонт-Петерсен М., де Риддер Д., Гендельс Х. (2002). «Обработка изображений нейронными сетями – обзор». Распознавание образов . 35 (10): 2279–2301. CiteSeerX   10.1.1.21.5444 . дои : 10.1016/S0031-3203(01)00178-9 .
• Фалман С., Лебьер С. (1991). «Архитектура обучения с каскадной корреляцией» (PDF) . Архивировано из оригинала (PDF) 3 мая 2013 года . Проверено 28 августа 2006 г.
  • создан для Национального научного фонда , номер контракта EET-8716324, и Агентства перспективных исследовательских проектов Министерства обороны (DOD), приказ ARPA № 4976 в соответствии с контрактом F33615-87-C-1499.
• Gurney K (1997). An introduction to neural networks. UCL Press. ISBN 978-1-85728-673-1. OCLC 37875698.
• Haykin SS (1999). Neural networks: a comprehensive foundation. Prentice Hall. ISBN 978-0-13-273350-2. OCLC 38908586.
• Герц Дж., Палмер Р.Г., Крог А.С. (1991). Введение в теорию нейронных вычислений . Аддисон-Уэсли. ISBN  978-0-201-51560-2 . ОСЛК   21522159 .
• Теория информации, логический вывод и алгоритмы обучения . Издательство Кембриджского университета. 25 сентября 2003 г. Бибкод : 2003itil.book.....М . ISBN  978-0-521-64298-9 . OCLC   52377690 .
• Крузе Р., Боргельт С., Клавонн Ф., Мовес С., Штайнбрехер М., Хелд П. (2013). Вычислительный интеллект: методологическое введение . Спрингер. ISBN  978-1-4471-5012-1 . OCLC   837524179 .
• Лоуренс Дж (1994). Введение в нейронные сети: проектирование, теория и приложения . Калифорнийское научное программное обеспечение. ISBN  978-1-883157-00-5 . OCLC   32179420 .
• Мастерс Т (1994). Обработка сигналов и изображений с помощью нейронных сетей: справочник по C++ . Дж. Уайли. ISBN  978-0-471-04963-0 . OCLC   29877717 .
• Маурер Х (2021). Когнитивная наука: механизмы интегративной синхронизации в когнитивных нейроархитектурах современного коннекционизма . ЦРК Пресс. дои : 10.1201/9781351043526 . ISBN  978-1-351-04352-6 . S2CID   242963768 .
• Рипли Б.Д. (2007). Распознавание образов и нейронные сети . Издательство Кембриджского университета. ISBN  978-0-521-71770-0 .
• Сигельманн Х, Зонтаг ЭД (1994). «Аналоговые вычисления с помощью нейронных сетей» . Теоретическая информатика . 131 (2): 331–360. дои : 10.1016/0304-3975(94)90178-3 . S2CID   2456483 .
• Smith M (1993). Neural networks for statistical modeling. Van Nostrand Reinhold. ISBN 978-0-442-01310-3. ОСЛК   27145760 .
• Wasserman PD (1993). Advanced methods in neural computing. Van Nostrand Reinhold. ISBN 978-0-442-00461-3. OCLC 27429729.
• Wilson H (2018). Artificial intelligence. Grey House Publishing. ISBN 978-1-68217-867-6.