Глубокое обучение

Чтобы узнать об эпизоде ​​сериала, см. « Глубокое обучение (Южный парк)» .

Представление изображений на нескольких уровнях абстракции в глубоком обучении

Глубокое обучение — это подмножество методов машинного обучения , основанных на нейронных сетях с обучением представлений . Прилагательное «глубокий» относится к использованию в сети нескольких уровней. Используемые методы могут быть контролируемыми , полуконтролируемыми или неконтролируемыми .

Архитектуры глубокого обучения, такие как глубокие нейронные сети , сети глубоких убеждений , рекуррентные нейронные сети , сверточные нейронные сети и преобразователи, применяются в таких областях, как компьютерное зрение , распознавание речи , обработка естественного языка , машинный перевод , биоинформатика , дизайн лекарств , анализ медицинских изображений. , климатологии , инспекции материалов и программ настольных игр , где они дали результаты, сравнимые, а в некоторых случаях превосходящие результаты человеческих экспертов.

Ранние формы нейронных сетей были вдохновлены обработкой информации и распределенными узлами связи в биологических системах , в частности в человеческом мозге . Однако современные нейронные сети не предназначены для моделирования функций мозга организмов и обычно рассматриваются для этой цели как модели низкого качества.

Обзор

Большинство современных моделей глубокого обучения основаны на многослойных нейронных сетях , таких как сверточные нейронные сети и преобразователи , хотя они также могут включать в себя пропозициональные формулы или скрытые переменные, организованные послойно в глубоких генеративных моделях, таких как узлы в глубоких сетях доверия и глубоких моделях Больцмана. машины .

По сути, глубокое обучение относится к классу машинного обучения алгоритмов , в которых иерархия слоев используется для преобразования входных данных в несколько более абстрактное и составное представление. Например, в модели распознавания изображений необработанными входными данными может быть изображение (представленное в виде пикселей ) тензора . Первый репрезентативный уровень может пытаться идентифицировать основные формы, такие как линии и круги, второй уровень может составлять и кодировать расположение краев, третий уровень может кодировать нос и глаза, а четвертый уровень может распознавать, что изображение содержит лицо.

Важно отметить, что процесс глубокого обучения может самостоятельно определить, какие функции на каком уровне оптимально разместить . До глубокого обучения методы машинного обучения часто включали в себя ручную разработку признаков для преобразования данных в более подходящее представление для работы алгоритма классификации. При подходе глубокого обучения функции не создаются вручную, и модель автоматически обнаруживает полезные представления функций из данных. Это не исключает необходимости ручной настройки; например, разное количество слоев и их размеры могут обеспечить разную степень абстракции.

Слово «глубокий» в «глубоком обучении» относится к количеству слоев, посредством которых преобразуются данные. Точнее, системы глубокого обучения имеют значительную глубину пути присвоения кредитов (CAP). CAP — это цепочка преобразований от входа к выходу. CAP описывают потенциально причинно-следственные связи между входом и выходом. Для нейронной сети прямого распространения глубина CAP равна глубине сети и равна количеству скрытых слоев плюс один (поскольку выходной слой также параметризуется). Для рекуррентных нейронных сетей , в которых сигнал может распространяться через слой более одного раза, глубина CAP потенциально не ограничена. Не существует общепринятого порога глубины, который разделяет поверхностное обучение и глубокое обучение, но большинство исследователей согласны с тем, что глубокое обучение предполагает глубину CAP выше 2. Было показано, что CAP глубины 2 является универсальным аппроксиматором в том смысле, что он может имитировать любую функцию. . Помимо этого, большее количество слоев не увеличивает возможности аппроксимации функций сети. Глубокие модели (CAP > 2) способны извлекать лучшие функции, чем поверхностные модели, и, следовательно, дополнительные слои помогают эффективно изучать функции.

Архитектуры глубокого обучения могут быть построены жадным послойным методом. Глубокое обучение помогает распутать эти абстракции и выбрать, какие функции улучшают производительность.

Алгоритмы глубокого обучения могут применяться к задачам обучения без присмотра. Это важное преимущество, поскольку неразмеченных данных больше, чем помеченных. Примерами глубоких структур, которые можно обучать без присмотра, являются сети глубоких убеждений .

Термин « глубокое обучение» был представлен сообществу машинного обучения Риной Дектер в 1986 году. и искусственным нейронным сетям Игоря Айзенберга и его коллег в 2000 году в контексте логических пороговых нейронов. Хотя история его появления, видимо, сложнее.

Интерпретации

Глубокие нейронные сети обычно интерпретируются с точки зрения универсальной аппроксимационной теоремы. или вероятностный вывод .

Классическая универсальная теорема аппроксимации касается способности нейронных сетей прямого распространения с одним скрытым слоем конечного размера аппроксимировать непрерывные функции . опубликовал первое доказательство В 1989 году Джордж Цыбенко функций сигмовидной кишки . активации и был обобщен для многоуровневых архитектур с прямой связью в 1991 году Куртом Хорником. Недавняя работа также показала, что универсальное приближение справедливо и для неограниченных функций активации, таких как Кунихико Фукусимы выпрямленная линейная единица .

Универсальная аппроксимационная теорема для глубоких нейронных сетей касается пропускной способности сетей с ограниченной шириной, но глубине разрешено расти. Лу и др. доказал, что если ширина глубокой нейронной сети с активацией ReLU строго больше входной размерности, то сеть может аппроксимировать любую интегрируемую по Лебегу функцию ; если ширина меньше или равна входному измерению, то глубокая нейронная сеть не является универсальным аппроксиматором.

Вероятностная ​ интерпретация происходит из области машинного обучения . Он включает в себя умозаключение, а также оптимизации концепции обучения и тестирования , связанные с подгонкой и обобщением соответственно. Более конкретно, вероятностная интерпретация рассматривает нелинейность активации как кумулятивную функцию распределения . Вероятностная интерпретация привела к использованию отсева в качестве регуляризатора в нейронных сетях. Вероятностная интерпретация была предложена такими исследователями, как Хопфилд , Уидроу и Нарендра , и популяризирована в исследованиях, таких как исследование Бишопа .

История

До 1980 года

Фрэнк Розенблатт (1958) предложил перцептрон, многослойный перцептрон (MLP) с тремя слоями: входным слоем, скрытым слоем со случайными весами, которые не обучаются, и выходным слоем. Позже он опубликовал книгу 1962 года, в которой также представлены варианты и компьютерные эксперименты, в том числе версия с четырехслойными перцептронами, где последние два слоя обучаются весам (и, таким образом, это настоящий многослойный перцептрон). Некоторые считают, что в книге 1962 года были разработаны и исследованы все основные компоненты современных систем глубокого обучения.

Групповой метод обработки данных , метод обучения произвольно глубоких нейронных сетей, был опубликован Алексеем Ивахненко и Лапа в 1967 году и рассматривался как форма полиномиальной регрессии. или обобщение перцептрона Розенблатта. В статье 1971 года описывалась глубокая сеть с восемью слоями, обученная этим методом.

Первый многослойный перцептрон глубокого обучения , обученный методом стохастического градиентного спуска был опубликован в 1967 году Шуничи Амари . В компьютерных экспериментах, проведенных учеником Амари Сайто, пятислойная MLP с двумя изменяемыми слоями изучила внутренние представления для классификации классов нелинейно разделимых шаблонов. Последующие разработки в области аппаратного обеспечения и настройки гиперпараметров сделали сквозной стохастический градиентный спуск доминирующим в настоящее время методом обучения.

Обратное распространение ошибки — это эффективное применение правила цепочки , выведенного Готфридом Вильгельмом Лейбницем в 1673 году. к сетям дифференцируемых узлов. Терминология «ошибки обратного распространения ошибки» была введена в 1962 году Розенблаттом. но он не знал, как это реализовать, хотя у Генри Дж. Келли был постоянный предшественник обратного распространения ошибки в 1960 году в контексте теории управления . Современная форма обратного распространения ошибки неоднократно разрабатывалась в начале 1970-х годов. Самым ранним опубликованным примером была Сеппо Линнаинмаа (1970). магистерская диссертация Пол Вербос разработал его независимо в 1971 году. но с трудом публиковал его до 1982 года. В 1986 году Дэвид Э. Румельхарт и др. популяризация обратного распространения ошибки.

1980-е-2000-е годы

Архитектуры глубокого обучения для сверточных нейронных сетей (CNN) со сверточными слоями и слоями понижающей дискретизации начались с Неокогнитрона, представленного Кунихико Фукусимой в 1980 году, хотя и не обученного методом обратного распространения ошибки. В 1969 году он также представил ReLU (выпрямленная линейная единица) функцию активации . Выпрямитель стал самой популярной функцией активации для CNN и глубокого обучения в целом.

CNN, обученная обратному распространению ошибки, добилась первых успехов в 1980-х годах, например, в распознавании алфавита. и на оптическом вычислительном оборудовании. Нейронная сеть с временной задержкой (TDNN) была представлена ​​в 1987 году Алексом Вайбелем для применения CNN для распознавания фонем. Он использовал как распределение веса, так и обратное распространение ошибки. В 1989 году Ян ЛеКун и др. создал LeNet , который применил обратное распространение ошибки к CNN для распознавания рукописных почтовых индексов в почте. Обучение заняло 3 дня. Другие примеры включали сегментацию объектов медицинских изображений. и выявление рака молочной железы при маммографии. LeNet -5 (1998), семиуровневая CNN Янна Лекуна и др., классифицирующая цифры, применялась несколькими банками для распознавания рукописных чисел на чеках, оцифрованных в изображениях размером 32x32 пикселя.

Рекуррентные нейронные сети (RNN) также были разработаны в 1980-х годах. Рекуррентность используется для обработки последовательностей, и когда рекуррентная сеть развернута, она математически напоминает глубокий уровень прямой связи. Следовательно, они имеют схожие свойства и проблемы, а их развитие оказало взаимное влияние. В RNN двумя ранними влиятельными работами были сеть Jordan (1986). и сеть Элмана (1990), который применил RNN для изучения проблем когнитивной психологии .

Зеппа Хохрайтера (1991). Дипломная работа предложил компрессор нейронной истории, а также выявил и проанализировал проблему исчезновения градиента . В 1993 году система сжатия нейронной истории решила задачу «очень глубокого обучения», которая требовала более 1000 последующих слоев в RNN, развернутой во времени. Хохрейтер предложил рекуррентные остаточные связи для решения проблемы исчезающего градиента. Это привело к созданию теории долговременной кратковременной памяти (LSTM), опубликованной в 1995 году. LSTM может изучать задачи «очень глубокого обучения» с длинными путями присвоения кредитов, требующими воспоминаний о событиях, произошедших за тысячи дискретных шагов времени до этого. Этот LSTM еще не был современной архитектурой, требующей «ворот забывания», представленных в 1999 году. который стал стандартной архитектурой RNN.

В течение 1985–1995 годов, вдохновленные статистической механикой, Терри Сейновски , Питером Даяном , Джеффри Хинтоном и др. было разработано несколько архитектур и методов, включая машину Больцмана , ограниченная машина Больцмана , Машина Гельмгольца , и алгоритм пробуждения-сна . Они были разработаны для неконтролируемого обучения глубоким генеративным моделям. Однако они были более дорогостоящими в вычислительном отношении по сравнению с обратным распространением ошибки. Алгоритм машинного обучения Больцмана, опубликованный в 1985 году, некоторое время был популярен, прежде чем его затмил алгоритм обратного распространения ошибки в 1986 году (стр. 112). ). Сеть 1988 года стала новейшим достижением в предсказании структуры белков , ранним применением глубокого обучения в биоинформатике.

Как поверхностное, так и глубокое обучение (например, рекуррентные сети) ИНС для распознавания речи исследуются уже много лет. Эти методы никогда не превосходили технологию неоднородной внутренней модели смеси Гаусса / скрытой модели Маркова (GMM-HMM), основанную на генеративных моделях речи, обученных дискриминативно. Были проанализированы основные трудности, в том числе уменьшение градиента. и слабая структура временной корреляции в нейронных прогнозирующих моделях. Дополнительными трудностями были отсутствие обучающих данных и ограниченная вычислительная мощность.

Большинство исследователей распознавания речи отошли от нейронных сетей и занялись генеративным моделированием. Исключением была компания SRI International в конце 1990-х годов. США SRI, финансируемый АНБ и DARPA , исследовал возможности распознавания речи и говорящих . Команда по распознаванию говорящего под руководством Ларри Хека сообщила о значительных успехах в использовании глубоких нейронных сетей в обработке речи в тесте NIST по распознаванию говорящих 1998 года. Он был использован в Nuance Verifier, представляющем собой первое крупное промышленное применение глубокого обучения.

Принцип превосходства «необработанных» функций над оптимизацией, созданной вручную, был впервые успешно исследован в архитектуре глубокого автокодирования на «необработанных» спектрограммах или функциях набора линейных фильтров в конце 1990-х годов. показывая его превосходство над функциями Мел-Цепстра , которые содержат стадии фиксированной трансформации из спектрограмм. Необработанные характеристики речи, формы сигналов , позже дали превосходные результаты в более крупном масштабе.

2000-е

Нейронные сети вошли в ноль, и более простые модели, использующие функции, созданные вручную для конкретных задач, такие как фильтры Габора и машины опорных векторов (SVM), стали предпочтительным выбором в 1990-х и 2000-х годах из-за вычислительной стоимости искусственных нейронных сетей и отсутствия понимания о том, как мозг организует свои биологические сети.

В 2003 году LSTM стал конкурировать с традиционными распознавателями речи в определенных задачах. В 2006 году Алекс Грейвс , Сантьяго Фернандес, Фаустино Гомес и Шмидхубер объединили ее с коннекционистской временной классификацией (CTC). в стопках LSTM. В 2009 году она стала первой RNN, выигравшей конкурс по распознаванию образов в области распознавания рукописного ввода .

В 2006 году появились публикации Джеффа Хинтона , Руслана Салахутдинова , Осиндеро и Тех. сети глубоких убеждений были разработаны для генеративного моделирования. Их обучают, обучая одну ограниченную машину Больцмана, затем замораживая ее и обучая другую поверх первой и т. д., а затем, при необходимости, настраивая с использованием контролируемого обратного распространения ошибки. Они могли моделировать многомерные распределения вероятностей, такие как распределение изображений MNIST , но сходимость была медленной.

По словам Яна Лекуна, влияние глубокого обучения на промышленность началось в начале 2000-х годов, когда CNN уже обрабатывали от 10% до 20% всех чеков, выписанных в США. Промышленное применение глубокого обучения для крупномасштабного распознавания речи началось примерно в 2010 году.

Семинар NIPS 2009 года по глубокому обучению для распознавания речи был мотивирован ограничениями глубоких генеративных моделей речи и возможностью того, что при наличии более мощного оборудования и крупномасштабных наборов данных глубокие нейронные сети могут стать практичными. Считалось, что предварительное обучение DNN с использованием генеративных моделей сетей глубокого доверия (DBN) позволит преодолеть основные трудности нейронных сетей. Однако было обнаружено, что замена предварительного обучения большими объемами обучающих данных для прямого обратного распространения ошибки при использовании DNN с большими, контекстно-зависимыми выходными слоями приводит к значительно более низкому уровню ошибок, чем современная на тот момент модель смеси Гаусса (GMM). )/Скрытая марковская модель (HMM), а также более продвинутые системы на основе генеративных моделей. Природа ошибок распознавания, производимых двумя типами систем, характерно различалась. предлагая техническую информацию о том, как интегрировать глубокое обучение в существующую высокоэффективную систему декодирования речи во время выполнения, используемую всеми основными системами распознавания речи. Анализ 2009–2010 годов, сравнивающий GMM (и другие модели генеративной речи) с моделями DNN, стимулировал ранние промышленные инвестиции в глубокое обучение для распознавания речи. Этот анализ был проведен с сопоставимой производительностью (менее 1,5% по частоте ошибок) между дискриминативными DNN и генеративными моделями. В 2010 году исследователи расширили глубокое обучение от TIMIT до распознавания речи с большим словарным запасом, приняв большие выходные слои DNN на основе контекстно-зависимых состояний HMM, построенных с помощью деревьев решений .

Революция глубокого обучения

Насколько глубокое обучение является частью машинного обучения и что машинное обучение является частью искусственного интеллекта (ИИ)

Революция глубокого обучения началась с компьютерного зрения на основе CNN и графических процессоров.

Хотя CNN, обученные методом обратного распространения ошибки, существовали уже несколько десятилетий, а реализации NN на GPU уже много лет, включая CNN, Для прогресса в области компьютерного зрения требовалось более быстрое внедрение CNN на графических процессорах. Позже, когда глубокое обучение стало широко распространенным, специально для глубокого обучения были разработаны специализированные аппаратные средства и оптимизации алгоритмов.

Ключевым достижением революции глубокого обучения стало развитие аппаратного обеспечения, особенно графических процессоров. Некоторые ранние работы датируются 2004 годом. В 2009 году Райна, Мадхаван и Эндрю Нг сообщили о 100-миллионной сети глубокого доверия, обученной на 30 графических процессорах Nvidia GeForce GTX 280 , что стало ранней демонстрацией глубокого обучения на основе графических процессоров. Они сообщили, что обучение происходит в 70 раз быстрее.

В 2011 году канал CNN под названием DanNet Дэн Чиресан, Ули Мейер, Джонатан Маски, Лука Мария Гамбарделла и Юрген Шмидхубер впервые достигли сверхчеловеческих результатов в конкурсе по визуальному распознаванию образов, превзойдя традиционные методы в 3 раза. Затем он выиграл еще несколько конкурсов. Они также показали, как максимальное объединение CNN на графическом процессоре значительно повышает производительность.

В 2012 году Эндрю Нг и Джефф Дин создали FNN, которая научилась распознавать концепции более высокого уровня, такие как кошки, только при просмотре немаркированных изображений, взятых из видеороликов на YouTube .

В октябре 2012 года AlexNet , Алекса Крижевского Ильи Суцкевера и Джеффри Хинтона. выиграл крупномасштабное соревнование ImageNet со значительным отрывом от поверхностных методов машинного обучения. Дальнейшие постепенные улучшения включали сеть VGG-16 Карена Симоняна и Эндрю Зиссермана. и Google Inceptionv3 .

Успех в классификации изображений был затем распространен на более сложную задачу создания описаний (подписей) для изображений, часто в виде комбинации CNN и LSTM.

В 2014 году современным уровнем техники было обучение «очень глубокой нейронной сети» с 20–30 слоями. Наложение слишком большого количества слоев привело к резкому снижению точности обучения . известная как проблема «деградации». В 2015 году для обучения очень глубоких сетей были одновременно разработаны два метода: сеть автомагистралей и остаточная нейронная сеть (ResNet). Исследовательская группа ResNet попыталась обучить более глубокие сети, эмпирически проверяя различные приемы обучения более глубоких сетей, пока не обнаружила глубокую остаточную сетевую архитектуру.

Примерно в то же время глубокое обучение начало оказывать влияние на сферу искусства. Ранние примеры включали Google DeepDream (2015 г.) и передачу нейронного стиля (2015 г.), оба из них были основаны на предварительно обученных нейронных сетях классификации изображений, таких как VGG-19.

Генеративно-состязательная сеть (GAN), автор ( Ian Goodfellow et al., 2014). стал новейшим достижением в генеративном моделировании в период 2014-2018 годов. Превосходное качество изображения достигается с помощью Nvidia . от StyleGAN (2018) на основе Progressive GAN Теро Карраса и др. Здесь генератор GAN растет от малого к большому по пирамидальной схеме. Генерация изображений с помощью GAN достигла массового успеха и спровоцировала дискуссии о дипфейках . Диффузионные модели (2015) с тех пор затмила GAN в генеративном моделировании благодаря таким системам, как DALL·E 2 (2022 г.) и Stable Diffusion (2022 г.).

В 2015 году распознавание речи Google улучшилось на 49% благодаря модели на основе LSTM, которую они сделали доступной через голосовой поиск Google на смартфоне .

Глубокое обучение является частью современных систем в различных дисциплинах, в частности в компьютерном зрении и автоматическом распознавании речи (ASR). Результаты часто используемых оценочных наборов, таких как TIMIT (ASR) и MNIST ( классификация изображений ), а также ряда задач по распознаванию речи с большим словарным запасом постоянно улучшаются. Сверточные нейронные сети были заменены ASR на LSTM . но более успешны в компьютерном зрении.

Йошуа Бенджио , Джеффри Хинтон и Ян ЛеКун были награждены Премией Тьюринга 2018 года за «концептуальные и инженерные прорывы, которые сделали глубокие нейронные сети важнейшим компонентом вычислений».

Нейронные сети

Основная статья: Искусственная нейронная сеть

Упрощенный пример обучения нейронной сети обнаружению объектов: сеть обучается на нескольких изображениях, на которых, как известно, изображены морские звезды и морские ежи , которые коррелируют с «узлами», представляющими визуальные особенности . Морская звезда сочетается с кольцевой текстурой и звездным контуром, тогда как большинство морских ежей сочетается с полосатой текстурой и овальной формой. Однако экземпляр морского ежа с кольцевой текстурой создает между ними слабо взвешенную ассоциацию.

Последующий запуск сети на входном изображении (слева): Сеть правильно обнаруживает морскую звезду. Однако слабовзвешенная связь между кольцевой текстурой и морским ежом также дает последнему слабый сигнал от одного из двух промежуточных узлов. Кроме того, раковина , не включенная в обучение, дает слабый сигнал овальной формы, что также приводит к слабому сигналу выхода морского ежа. Эти слабые сигналы могут привести к ложноположительному результату на морского ежа.
В действительности текстуры и контуры будут представлены не отдельными узлами, а скорее соответствующими весовыми шаблонами нескольких узлов.

Искусственные нейронные сети ( ИНС ) или коннекционистские системы — это вычислительные системы, вдохновленные биологическими нейронными сетями , которые составляют мозг животных. Такие системы учатся (постепенно совершенствуют свои способности) выполнять задачи, рассматривая примеры, как правило, без программирования для конкретных задач. Например, при распознавании изображений они могут научиться распознавать изображения, на которых есть кошки, анализируя примеры изображений, которые были вручную помечены как «кошка» или «нет кошки», и используя результаты анализа для идентификации кошек на других изображениях. Они нашли наибольшее применение в приложениях, которые трудно выразить с помощью традиционного компьютерного алгоритма с использованием программирования на основе правил .

ИНС основана на наборе связанных единиц, называемых искусственными нейронами (аналог биологических нейронов в биологическом мозге ). Каждое соединение ( синапс ) между нейронами может передавать сигнал другому нейрону. Принимающий (постсинаптический) нейрон может обрабатывать сигнал(ы), а затем сигнализировать нижестоящим нейронам, подключенным к нему. Нейроны могут иметь состояние, обычно представленное действительными числами , обычно от 0 до 1. Нейроны и синапсы также могут иметь вес, который меняется по мере обучения, что может увеличивать или уменьшать силу сигнала, который они посылают вниз по течению.

Обычно нейроны организованы слоями. Разные слои могут выполнять разные виды преобразований на своих входах. Сигналы перемещаются от первого (входного) к последнему (выходному) слою, возможно, после многократного прохождения слоев.

Первоначальная цель нейросетевого подхода заключалась в том, чтобы решать проблемы так же, как это делает человеческий мозг. Со временем внимание сосредоточилось на сопоставлении конкретных умственных способностей, что привело к отклонениям от биологии, таким как обратное распространение ошибки или передача информации в обратном направлении и настройка сети для отражения этой информации.

Нейронные сети использовались для решения различных задач, включая компьютерное зрение, распознавание речи , машинный перевод , социальных сетей фильтрацию , настольные и видеоигры , а также медицинскую диагностику.

По состоянию на 2017 год нейронные сети обычно насчитывают от нескольких тысяч до нескольких миллионов единиц и миллионов соединений. Несмотря на то, что это число на несколько порядков меньше количества нейронов в человеческом мозге, эти сети могут выполнять многие задачи на уровне, превосходящем человеческий (например, распознавание лиц или игра в «го»). ).

Глубокие нейронные сети

Глубокая нейронная сеть (DNN) — это искусственная нейронная сеть с несколькими слоями между входным и выходным слоями. Существуют разные типы нейронных сетей, но они всегда состоят из одних и тех же компонентов: нейронов, синапсов, весов, смещений и функций. Эти компоненты в целом функционируют таким образом, что имитируют функции человеческого мозга, и их можно обучать, как и любой другой алгоритм ML.

Например, DNN, обученная распознавать породы собак, просматривает данное изображение и рассчитывает вероятность того, что собака на изображении принадлежит к определенной породе. Пользователь может просмотреть результаты и выбрать, какие вероятности должна отображать сеть (выше определенного порога и т. д.), а также вернуть предложенную метку. Каждая математическая манипуляция как таковая рассматривается как слой, и сложные DNN имеют много слоев, отсюда и название «глубокие» сети.

DNN могут моделировать сложные нелинейные отношения. Архитектуры DNN генерируют композиционные модели, в которых объект выражается как многоуровневая композиция примитивов . Дополнительные уровни позволяют комбинировать объекты из нижних слоев, потенциально моделируя сложные данные с меньшим количеством единиц, чем в мелкой сети с аналогичной производительностью. Например, было доказано, что разреженные многомерные полиномы экспоненциально легче аппроксимировать с помощью DNN, чем с помощью мелких сетей.

Глубокие архитектуры включают множество вариантов нескольких базовых подходов. Каждая архитектура нашла успех в определенных областях. Не всегда возможно сравнить производительность нескольких архитектур, если только они не оценивались на одних и тех же наборах данных.

DNN обычно представляют собой сети прямой связи, в которых данные передаются от входного уровня к выходному без обратного цикла. Сначала DNN создает карту виртуальных нейронов и присваивает случайные числовые значения или «веса» связям между ними. Веса и входные данные умножаются и возвращают выходные данные в диапазоне от 0 до 1. Если сеть не распознала точно определенный шаблон, алгоритм скорректирует веса. Таким образом, алгоритм может сделать определенные параметры более влиятельными, пока не определит правильные математические манипуляции для полной обработки данных.

Рекуррентные нейронные сети , в которых данные могут передаваться в любом направлении, используются для таких приложений, как языковое моделирование . Длительная кратковременная память особенно эффективна для этого использования.

Сверточные нейронные сети (CNN) используются в компьютерном зрении. CNN также применялись для акустического моделирования для автоматического распознавания речи (ASR).

Проблемы

Как и в случае с ИНС, с наивно обученными DNN может возникнуть множество проблем. Двумя распространенными проблемами являются переобучение и время вычислений.

DNN склонны к переоснащению из-за дополнительных уровней абстракции, которые позволяют им моделировать редкие зависимости в обучающих данных. Методы регуляризации, такие как сокращение единиц Ивахненко. или снижение веса ( $\ell _{2}$-регуляризация) или разреженность ( $\ell _{1}$-регуляризация) может применяться во время тренировок для борьбы с переобучением. Альтернативно, регуляризация отсева случайным образом исключает единицы из скрытых слоев во время обучения. Это помогает исключить редкие зависимости. Наконец, данные можно дополнять с помощью таких методов, как обрезка и вращение, чтобы можно было увеличить размер меньших обучающих наборов, чтобы уменьшить вероятность переобучения.

DNN должны учитывать множество параметров обучения, таких как размер (количество слоев и количество единиц на слой), скорость обучения и начальные веса. Просмотр пространства параметров для поиска оптимальных параметров может оказаться невозможным из-за затрат времени и вычислительных ресурсов. Различные трюки, такие как пакетная обработка (вычисление градиента сразу на нескольких обучающих примерах, а не на отдельных примерах). ускорить вычисления. Большие вычислительные возможности многоядерных архитектур (таких как графические процессоры или Intel Xeon Phi) позволили значительно ускорить обучение благодаря пригодности таких архитектур обработки для матричных и векторных вычислений.

В качестве альтернативы инженеры могут искать другие типы нейронных сетей с более простыми и конвергентными алгоритмами обучения. CMAC ( контроллер артикуляции модели мозжечка ) — один из таких типов нейронной сети. Он не требует скорости обучения или рандомизированных начальных весов. Можно гарантировать, что процесс обучения сходится за один шаг с новой порцией данных, а вычислительная сложность алгоритма обучения линейна в зависимости от количества задействованных нейронов.

Аппаратное обеспечение

С 2010-х годов достижения как в алгоритмах машинного обучения, так и в компьютерном оборудовании привели к появлению более эффективных методов обучения глубоких нейронных сетей, которые содержат множество слоев нелинейных скрытых модулей и очень большой выходной слой. К 2019 году графические процессоры (GPU), часто с усовершенствованиями, специально предназначенными для искусственного интеллекта, вытеснили центральные процессоры в качестве доминирующего метода обучения крупномасштабного коммерческого облачного искусственного интеллекта. OpenAI оценила аппаратные вычисления, используемые в крупнейших проектах глубокого обучения, от AlexNet (2012) до AlphaZero (2017), и обнаружила 300 000-кратное увеличение объема необходимых вычислений с линией тренда удвоения, равной 3,4 месяца.

Специальные электронные схемы , называемые процессорами глубокого обучения, были разработаны для ускорения алгоритмов глубокого обучения. Процессоры глубокого обучения включают в себя нейронные процессоры (NPU) в Huawei . мобильных телефонах и серверы облачных вычислений , такие как тензорные процессоры (TPU) в Google Cloud Platform . Компания Cerebras Systems также создала специальную систему для работы с большими моделями глубокого обучения — CS-2 — на базе крупнейшего процессора в отрасли — Wafer Scale Engine второго поколения (WSE-2).

Атомно тонкие полупроводники считаются перспективными для создания энергоэффективного оборудования глубокого обучения, где одна и та же базовая структура устройства используется как для логических операций, так и для хранения данных. В 2020 году Марега и др. опубликовали эксперименты с материалом активного канала большой площади для разработки устройств и схем логики в памяти на основе с плавающим затвором полевых транзисторов (FGFET).

В 2021 г. Дж. Фельдманн и др. предложил интегрированный фотонный аппаратный ускоритель для параллельной сверточной обработки. Авторы выделяют два ключевых преимущества интегрированной фотоники перед ее электронными аналогами: (1) массово параллельная передача данных посредством по длине волны с разделением мультиплексирования в сочетании с частотными гребенками и (2) чрезвычайно высокая скорость модуляции данных. Их система может выполнять триллионы операций умножения-накопления в секунду, что указывает на потенциал интегрированной фотоники в приложениях искусственного интеллекта с большим объемом данных.

Приложения

Автоматическое распознавание речи

Основная статья: Распознавание речи

Масштабное автоматическое распознавание речи — первый и наиболее убедительный успешный случай глубокого обучения. LSTM RNN могут изучать задачи «очень глубокого обучения» которые включают в себя многосекундные интервалы, содержащие речевые события, разделенные тысячами дискретных временных шагов, где один временной шаг соответствует примерно 10 мс. LSTM с воротами забывания конкурирует с традиционными распознавателями речи в определенных задачах.

Первоначальный успех в распознавании речи был основан на небольших задачах распознавания на основе TIMIT. Набор данных содержит 630 носителей восьми основных диалектов американского английского , каждый из которых читает 10 предложений. Его небольшой размер позволяет опробовать множество конфигураций. Что еще более важно, задача TIMIT касается распознавания телефонных последовательностей, которое, в отличие от распознавания последовательностей слов, позволяет создавать слабые телефонных биграмм языковые модели . Это позволяет легче анализировать сильные стороны акустического моделирования распознавания речи. Перечисленные ниже коэффициенты ошибок, включая эти ранние результаты и измеренные в процентах коэффициента ошибок телефона (PER), суммируются с 1991 года.

Метод	Процент телефона коэффициент ошибок (PER) (%)
Случайно инициализированный RNN	26.1
Байесовский трифон GMM-HMM	25.6
Модель скрытой траектории (генеративная)	24.8
Монофонический случайно инициализированный DNN	23.4
Монофон ДБН-ДНН	22.4
Triphone GMM-HMM с обучением BMMI	21.7
Монофон ДБН-ДНН на фбанке	20.7
Сверточная DNN	20.0
Сверточная DNN w. Гетерогенное объединение	18.7
Ансамбль ДНН/CNN/РНН	18.3
Двунаправленный LSTM	17.8
Иерархическая сверточная сеть Deep Maxout	16.5

Дебют DNN для распознавания говорящих в конце 1990-х годов, распознавания речи примерно в 2009–2011 годах и LSTM примерно в 2003–2007 годах ускорил прогресс в восьми основных областях:

• Масштабирование и ускорение обучения и декодирования DNN
• Последовательное дискриминационное обучение
• Обработка признаков с помощью глубоких моделей с глубоким пониманием основных механизмов
• Адаптация DNN и связанных с ними глубоких моделей
• Многозадачное и трансферное обучение с помощью DNN и связанных с ними глубоких моделей
• CNN и как их спроектировать, чтобы наилучшим образом использовать знания предметной области речи
• RNN и его богатые варианты LSTM
• Другие типы глубоких моделей, включая тензорные модели и интегрированные глубокие генеративные/дискриминационные модели.

Все основные коммерческие системы распознавания речи (например, Microsoft Cortana , Xbox , Skype Translator , Amazon Alexa , Google Now , Apple Siri , Baidu и голосовой поиск iFlyTek , а также ряд речевых продуктов Nuance и т. д.) основаны на глубоком обучении.

Распознавание изображений

Основная статья: Компьютерное зрение

Обычным набором оценок для классификации изображений является набор данных базы данных MNIST . MNIST состоит из рукописных цифр и включает 60 000 обучающих примеров и 10 000 тестовых примеров. Как и в случае с TIMIT, его небольшой размер позволяет пользователям тестировать несколько конфигураций. Доступен полный список результатов по этому набору.

Распознавание изображений на основе глубокого обучения стало «сверхчеловеческим», давая более точные результаты, чем участники-люди. Впервые это произошло в 2011 году при распознавании дорожных знаков, а в 2014 году — при распознавании человеческих лиц.

Транспортные средства, обученные глубокому обучению, теперь интерпретируют изображения с камер на 360°. Другим примером является новый анализ лицевой дисморфологии (FDNA), используемый для анализа случаев пороков развития человека, связанных с большой базой данных генетических синдромов.

Обработка визуального искусства

Визуальная обработка Джимми Уэйлса во Франции со стилем Мунка « Крик », примененным с использованием нейронной передачи стилей.

С прогрессом, достигнутым в распознавании изображений, тесно связано все более широкое применение методов глубокого обучения для различных задач визуального искусства. DNN доказали свою способность, например,

• определение стилевого периода данной картины
• Нейронная передача стиля – фиксация стиля данного произведения искусства и применение его визуально приятным образом к произвольной фотографии или видео.
• создание ярких изображений на основе случайных полей визуального ввода.

Обработка естественного языка

Основная статья: Обработка естественного языка

Нейронные сети используются для реализации языковых моделей с начала 2000-х годов. LSTM помог улучшить машинный перевод и языковое моделирование.

Другими ключевыми методами в этой области являются отрицательные выборки. и встраивание слов . Встраивание слов, такое как word2vec , можно рассматривать как репрезентативный уровень в архитектуре глубокого обучения, который преобразует атомарное слово в позиционное представление слова относительно других слов в наборе данных; положение представлено как точка в векторном пространстве . Использование встраивания слов в качестве входного слоя RNN позволяет сети анализировать предложения и фразы, используя эффективную композиционную векторную грамматику. Композиционную векторную грамматику можно рассматривать как вероятностную контекстно-свободную грамматику (PCFG), реализуемую RNN. Рекурсивные автокодировщики, построенные на основе встраивания слов, могут оценивать сходство предложений и обнаруживать перефразирование. Глубокие нейронные архитектуры обеспечивают наилучшие результаты при анализе избирательного округа. анализ настроений , поиск информации, понимание разговорной речи, машинный перевод, контекстное связывание сущностей, распознавание стиля письма, распознавание именованных объектов (классификация токенов), классификация текста и другие.

Недавние разработки обобщают встраивание слов в встраивание предложений .

Google Translate (GT) использует большую сквозную сеть с длинной краткосрочной памятью (LSTM). Нейронный машинный перевод Google (GNMT) использует метод машинного перевода на основе примеров , при котором система «обучается на миллионах примеров». Он переводит «целые предложения за раз, а не по частям». Google Translate поддерживает более ста языков. Сеть кодирует «семантику предложения, а не просто запоминает построчный перевод». GT использует английский как промежуточный вариант между большинством языковых пар.

Открытие лекарств и токсикология

Для получения дополнительной информации см. «Открытие лекарств и токсикология» .

Большой процент потенциальных лекарств не получает одобрения регулирующих органов. Эти неудачи вызваны недостаточной эффективностью (нецелевой эффект), нежелательными взаимодействиями (нецелевые эффекты) или непредвиденными токсическими эффектами . Исследования изучали возможность использования глубокого обучения для прогнозирования биомолекулярных целей . нецелевые результаты и токсическое воздействие химических веществ, содержащихся в питательных веществах, предметах домашнего обихода и лекарствах.

AtomNet — это система глубокого обучения для рационального проектирования лекарств на основе структуры . AtomNet использовался для прогнозирования новых биомолекул-кандидатов для борьбы с такими болезнями, как вирус Эбола. и рассеянный склероз .

В 2017 году графовые нейронные сети были впервые использованы для прогнозирования различных свойств молекул в большом наборе токсикологических данных. В 2019 году генеративные нейронные сети были использованы для производства молекул, которые были проверены экспериментально на мышах.

Управление взаимоотношениями с клиентами

Основная статья: Управление взаимоотношениями с клиентами

Глубокое обучение с подкреплением использовалось для приблизительного определения ценности возможных действий прямого маркетинга , определенной с точки зрения RFM переменных . Было показано, что функция оценочной стоимости имеет естественную интерпретацию как пожизненная ценность клиента .

Рекомендательные системы

Основная статья: Рекомендательная система

Системы рекомендаций использовали глубокое обучение для извлечения значимых функций для модели скрытых факторов для рекомендаций по музыке и журналам на основе контента. Глубокое обучение с несколькими представлениями применялось для изучения предпочтений пользователей из нескольких доменов. Модель использует гибридный подход, основанный на совместной работе и контенте, и расширяет рекомендации для решения нескольких задач.

Биоинформатика

Основная статья: Биоинформатика

Автоэнкодер аннотаций ANN использовался в биоинформатике для прогнозирования онтологии генов и отношений ген-функция.

В медицинской информатике глубокое обучение использовалось для прогнозирования качества сна на основе данных носимых устройств. и прогнозирование осложнений со здоровьем на основе данных электронных медицинских карт .

Глубокие нейронные сети продемонстрировали беспрецедентную эффективность в предсказании структуры белка в соответствии с последовательностью аминокислот, из которых он состоит. В 2020 году AlphaFold , система, основанная на глубоком обучении, достигла уровня точности, значительно превышающего все предыдущие вычислительные методы.

Оценки глубокой нейронной сети

Глубокие нейронные сети могут использоваться для оценки энтропии случайного процесса и называются оценщиком энтропии нейронных соединений (NJEE). Такая оценка дает представление о влиянии входных случайных величин на независимую случайную величину . На практике DNN обучается как классификатор , который сопоставляет входной вектор или матрицу X с выходным распределением вероятностей по возможным классам случайной величины Y при заданных входных данных X. Например, в задачах классификации изображений NJEE отображает вектор пикселей ' значения цвета для вероятностей возможных классов изображений. На практике распределение вероятностей Y получается с помощью слоя Softmax с количеством узлов, равным размеру алфавита Y. NJEE использует непрерывно дифференцируемые функции активации , так что выполняются условия универсальной теоремы аппроксимации . Показано, что этот метод обеспечивает строго согласованную оценку и превосходит другие методы в случае больших размеров алфавита.

Анализ медицинских изображений

Было показано, что глубокое обучение дает конкурентоспособные результаты в медицинских приложениях, таких как классификация раковых клеток, обнаружение поражений, сегментация органов и улучшение изображений. Современные инструменты глубокого обучения демонстрируют высокую точность выявления различных заболеваний и полезность их использования специалистами для повышения эффективности диагностики.

Мобильная реклама

Найти подходящую мобильную аудиторию для мобильной рекламы всегда непросто, поскольку необходимо учитывать и анализировать множество точек данных, прежде чем целевой сегмент можно будет создать и использовать при показе рекламы любым рекламным сервером. Глубокое обучение использовалось для интерпретации больших и многомерных наборов рекламных данных. Многие данные собираются во время цикла интернет-рекламы «запрос/обслуживание/нажатие». Эта информация может лечь в основу машинного обучения для улучшения выбора рекламы.

Восстановление изображения

Глубокое обучение успешно применяется для решения обратных задач, таких как шумоподавление , суперразрешение , рисование и раскрашивание пленки . Эти приложения включают в себя такие методы обучения, как «Поля усадки для эффективного восстановления изображений». который обучается на наборе данных изображения, и Deep Image Prior , который обучается на изображении, требующем восстановления.

Обнаружение финансового мошенничества

Глубокое обучение успешно применяется для обнаружения финансового мошенничества , уклонения от уплаты налогов, и борьба с отмыванием денег.

Материаловедение

В ноябре 2023 года исследователи из Google DeepMind и Национальной лаборатории Лоуренса Беркли объявили, что разработали систему искусственного интеллекта, известную как GNoME. Эта система внесла вклад в материаловедение , открыв более 2 миллионов новых материалов за относительно короткий период времени. GNoME использует методы глубокого обучения для эффективного исследования потенциальных структур материалов, достигая значительного улучшения идентификации стабильных неорганических кристаллических структур . Предсказания системы были подтверждены в ходе автономных роботизированных экспериментов, продемонстрировавших примечательный уровень успеха — 71%. Данные о вновь обнаруженных материалах общедоступны через базу данных Materials Project , что дает исследователям возможность идентифицировать материалы с желаемыми свойствами для различных применений. Это развитие имеет последствия для будущего научных открытий и интеграции ИИ в исследования в области материаловедения, потенциально ускоряя инновации в материалах и снижая затраты на разработку продуктов. Использование искусственного интеллекта и глубокого обучения предполагает возможность свести к минимуму или исключить ручные лабораторные эксперименты и позволить ученым больше сосредоточиться на разработке и анализе уникальных соединений.

Военный

Министерство обороны США применило глубокое обучение для обучения роботов новым задачам посредством наблюдения.

Уравнения в частных производных

Нейронные сети, основанные на физике, использовались для решения уравнений в частных производных как в прямых, так и в обратных задачах на основе данных. Одним из примеров является реконструкция потока жидкости, определяемая уравнениями Навье-Стокса . Использование нейронных сетей, основанных на физике, не требует часто дорогостоящего создания сетки, CFD . на котором полагаются традиционные методы

Метод глубокого обратного стохастического дифференциального уравнения

Метод глубокого обратного стохастического дифференциального уравнения — это численный метод, сочетающий глубокое обучение с обратным стохастическим дифференциальным уравнением (BSDE). Этот метод особенно полезен для решения многомерных задач финансовой математики. Используя мощные возможности аппроксимации функций глубоких нейронных сетей , глубокий BSDE решает вычислительные проблемы, с которыми сталкиваются традиционные численные методы в многомерных условиях. В частности, традиционные методы, такие как методы конечных разностей или моделирование Монте-Карло, часто борются с проклятием размерности, когда вычислительные затраты растут экспоненциально с увеличением количества измерений. Однако методы Deep BSDE используют глубокие нейронные сети для аппроксимации решений многомерных уравнений в частных производных (PDE), что эффективно снижает вычислительную нагрузку.

Кроме того, интеграция нейронных сетей, основанных на физике (PINN), в глубокую структуру BSDE расширяет ее возможности за счет внедрения основных физических законов непосредственно в архитектуру нейронной сети. Это гарантирует, что решения не только соответствуют данным, но и соответствуют основным стохастическим дифференциальным уравнениям. PINN используют возможности глубокого обучения, соблюдая при этом ограничения, налагаемые физическими моделями, что приводит к более точным и надежным решениям задач финансовой математики.

Реконструкция изображения

Реконструкция изображения — это реконструкция основных изображений на основе измерений, связанных с изображением. Несколько работ показали лучшую и превосходящую производительность методов глубокого обучения по сравнению с аналитическими методами для различных приложений, например, спектральной визуализации. и ультразвуковое исследование.

Прогноз погоды

Традиционные системы прогнозирования погоды решают очень сложную систему дифференциальных уравнений Патриала. GraphCast — это модель, основанная на глубоком обучении, обученная на долгой истории погодных данных и позволяющая прогнозировать, как погодные условия изменяются с течением времени. Он способен прогнозировать погодные условия на срок до 10 дней по всему миру, на очень детальном уровне и менее чем за минуту, с точностью, аналогичной современным системам.

Эпигенетические часы

Основная статья: Эпигенетические часы

Эпигенетические часы — это биохимический тест , который можно использовать для измерения возраста. Галкин и др. использовали глубокие нейронные сети для обучения эпигенетических часов старения с беспрецедентной точностью, используя более 6000 образцов крови. Часы используют информацию из 1000 CpG-сайтов и прогнозируют людей с определенными заболеваниями старше, чем здоровый контроль: воспалительное заболевание кишечника , лобно-височная деменция , рак яичников , ожирение . Часы старения планировалось выпустить для публичного использования в 2021 году дочерней компанией Insilico Medicine Deep Longevity.

Связь с когнитивными способностями и развитием мозга человека

Глубокое обучение тесно связано с классом теорий развития мозга (в частности, развития неокортекса), предложенных когнитивными нейробиологами в начале 1990-х годов. Эти теории развития были воплощены в вычислительных моделях, что сделало их предшественниками систем глубокого обучения. Эти модели развития обладают тем общим свойством, что различные предполагаемые динамики обучения в мозге (например, волна фактора роста нервов ) поддерживают самоорганизацию, в некоторой степени аналогичную нейронным сетям, используемым в моделях глубокого обучения. Как и неокортекс , нейронные сети используют иерархию многоуровневых фильтров, в которой каждый уровень рассматривает информацию из предыдущего уровня (или операционной среды), а затем передает ее выходные данные (и, возможно, исходные входные данные) на другие уровни. В результате этого процесса получается самоорганизующийся набор датчиков , хорошо настроенный к рабочей среде. В описании 1995 года говорилось: «...мозг младенца, по-видимому, самоорганизуется под влиянием волн так называемых трофических факторов... различные области мозга соединяются последовательно, при этом один слой ткани созревает раньше другого и так до тех пор, пока весь мозг не созреет».

Для исследования правдоподобности моделей глубокого обучения с нейробиологической точки зрения использовались различные подходы. С одной стороны, обратного распространения ошибки с целью повышения реалистичности его обработки. было предложено несколько вариантов алгоритма Другие исследователи утверждают, что неконтролируемые формы глубокого обучения, например, основанные на иерархических генеративных моделях и сетях глубоких убеждений , могут быть ближе к биологической реальности. В этом отношении модели генеративных нейронных сетей связаны с нейробиологическими данными об обработке данных в коре головного мозга на основе выборки.

Хотя систематическое сравнение организации человеческого мозга и кодирования нейронов в глубоких сетях еще не проведено, сообщалось о нескольких аналогиях. Например, вычисления, выполняемые модулями глубокого обучения, могут быть аналогичны вычислениям реальных нейронов. и нейронные популяции. Точно так же представления, разработанные моделями глубокого обучения, аналогичны тем, которые измеряются в зрительной системе приматов. оба в одном блоке и у населения уровни.

Коммерческая деятельность

Facebook Лаборатория искусственного интеллекта выполняет такие задачи, как автоматическая пометка загруженных изображений именами людей на них.

от Google Компания DeepMind Technologies разработала систему, способную научиться играть Atari, в видеоигры используя в качестве входных данных только пиксели. В 2015 году они продемонстрировали свою систему AlphaGo , которая достаточно хорошо изучила игру в го, чтобы победить профессионального игрока в го. Google Translate использует нейронную сеть для перевода более чем на 100 языков.

В 2017 году был запущен Covariant.ai, целью которого является интеграция глубокого обучения в фабрики.

По состоянию на 2008 год Исследователи из Техасского университета в Остине (Юта) разработали систему машинного обучения под названием «Обучение агента вручную с помощью оценочного подкрепления» или TAMER, которая предложила новые методы, позволяющие роботам или компьютерным программам научиться выполнять задачи, взаимодействуя с человеком-инструктором. Новый алгоритм под названием Deep TAMER, впервые разработанный как TAMER, был позже представлен в 2018 году в ходе сотрудничества Исследовательской лаборатории армии США (ARL) и исследователей UT. Deep TAMER использовал глубокое обучение, чтобы предоставить роботу возможность изучать новые задачи посредством наблюдения. Используя Deep TAMER, робот обучался выполнению задачи вместе с тренером-человеком, просматривая видеопотоки или наблюдая, как человек выполняет задачу лично. Позже робот попрактиковался в выполнении задания под руководством тренера, который давал такие отзывы, как «хорошая работа» и «плохая работа».

Критика и комментарии

Глубокое обучение вызвало как критику, так и комментарии, в некоторых случаях за пределами области информатики.

Теория

См. Также: Объяснимый искусственный интеллект.

Основная критика касается отсутствия теории вокруг некоторых методов. Обучение в наиболее распространенных глубоких архитектурах реализуется с помощью хорошо понятного градиентного спуска. Однако теория других алгоритмов, таких как контрастивная дивергенция, менее ясна. (например, сходится ли оно? Если да, то как быстро? Что оно аппроксимирует?) Методы глубокого обучения часто рассматриваются как черный ящик , причем большинство подтверждений делается эмпирически, а не теоретически.

Другие отмечают, что глубокое обучение следует рассматривать как шаг к созданию сильного ИИ , а не как всеобъемлющее решение. Несмотря на мощь методов глубокого обучения, им все еще не хватает функциональности, необходимой для полной реализации этой цели. Психолог-исследователь Гэри Маркус отметил:

На самом деле глубокое обучение — это лишь часть более масштабной задачи создания интеллектуальных машин. В таких методах отсутствуют способы представления причинно-следственных связей (...), нет очевидных способов выполнения логических выводов , а также они еще далеки от интеграции абстрактных знаний, таких как информация о том, что представляют собой объекты, для чего они предназначены и как они обычно используются. Самые мощные системы искусственного интеллекта, такие как Watson (...), используют такие методы, как глубокое обучение, как всего лишь один элемент в очень сложном ансамбле методов, начиная от статистического метода байесовского вывода и заканчивая дедуктивным рассуждением .

В качестве дальнейшей ссылки на идею о том, что художественная чувствительность может быть присуща относительно низким уровням когнитивной иерархии, опубликована серия графических изображений внутренних состояний глубоких (20-30 слоев) нейронных сетей, пытающихся различить среди по существу случайных данных изображения. на котором они обучались продемонстрировать визуальную привлекательность: оригинальное уведомление об исследовании получило более 1000 комментариев и стало темой статьи, которая какое-то время была наиболее часто доступной статьей в The Guardian . веб-сайт.

Ошибки

Некоторые архитектуры глубокого обучения демонстрируют проблемное поведение. например, уверенное отнесение неузнаваемых изображений к знакомой категории обычных изображений (2014) и неправильная классификация мельчайших искажений правильно классифицированных изображений (2013). Герцель предположил, что такое поведение связано с ограничениями их внутренних представлений и что эти ограничения будут препятствовать интеграции в гетерогенные многокомпонентные общего искусственного интеллекта (AGI). архитектуры Эти проблемы, возможно, могут быть решены с помощью архитектур глубокого обучения, которые внутри формируют состояния, гомологичные грамматике изображения. декомпозиции наблюдаемых сущностей и событий. Изучение грамматики (визуальной или лингвистической) на основе обучающих данных было бы эквивалентно ограничению системы рассуждениями здравого смысла , которые оперируют понятиями с точки зрения грамматических правил производства и являются основной целью как овладения человеческим языком, так и и искусственный интеллект (ИИ).

Киберугроза

По мере того как глубокое обучение выходит из лабораторий в мир, исследования и опыт показывают, что искусственные нейронные сети уязвимы для хакерских атак и обмана. Выявив закономерности, которые эти системы используют для функционирования, злоумышленники могут изменить входные данные ИНС таким образом, что ИНС найдет совпадение, которое люди-наблюдатели не смогут распознать. Например, злоумышленник может внести незначительные изменения в изображение, так что ИНС найдет совпадение, даже если для человека изображение выглядит совсем не так, как цель поиска. Такая манипуляция называется «состязательной атакой».

В 2016 году исследователи использовали одну ИНС для обработки изображений методом проб и ошибок, определения фокусных точек другого и, таким образом, создания изображений, которые обманывали его. Модифицированные изображения ничем не отличались от человеческих глаз. Другая группа показала, что распечатки сфальсифицированных изображений, которые затем были сфотографированы, успешно обманули систему классификации изображений. Одним из способов защиты является обратный поиск изображений, при котором возможное поддельное изображение отправляется на такой сайт, как TinEye , который затем может найти другие его экземпляры. Уточнение состоит в том, чтобы искать, используя только части изображения, чтобы идентифицировать изображения, из которых эта часть могла быть взята .

Другая группа показала, что некоторые психоделические зрелища могут обмануть систему распознавания лиц , заставив ее думать, что обычные люди — знаменитости, что потенциально позволяет одному человеку выдавать себя за другого. В 2017 году исследователи добавили наклейки на знаки остановки , из-за чего ANN неправильно их классифицировала.

Однако ИНС можно дополнительно обучить обнаружению попыток обмана , что потенциально может привести злоумышленников и защитников к гонке вооружений, подобной той, которая уже определяет индустрию защиты от вредоносного ПО . ИНС обучены побеждать антивирусное программное обеспечение на основе ИНС, неоднократно атакуя защиту с помощью вредоносного ПО, которое постоянно изменялось генетическим алгоритмом, пока оно не обмануло антивирусное ПО, сохраняя при этом свою способность наносить ущерб цели.

В 2016 году другая группа продемонстрировала, что определенные звуки могут заставить систему голосовых команд Google Now открыть определенный веб-адрес, и предположила, что это может «служить трамплином для дальнейших атак (например, открытие веб-страницы, на которой размещено вредоносное ПО) ".

При « отравлении данных » ложные данные постоянно вводятся в обучающий набор системы машинного обучения, чтобы помешать ей достичь мастерства.

Этика сбора данных

Большинство систем глубокого обучения полагаются на данные обучения и проверки, которые генерируются и/или аннотируются людьми. утверждается В философии СМИ , что для этой цели регулярно используется не только низкооплачиваемая работа с кликами (например, на Amazon Mechanical Turk ), но и неявные формы человеческой микроработы , которые часто не признаются как таковые. Философ Райнер Мюльхофф различает пять типов «машинного захвата» микроработы человека для создания обучающих данных: (1) геймификация (встраивание аннотаций или вычислительных задач в ход игры), (2) «перехват и отслеживание» (например, CAPTCHA для распознавания изображений или отслеживания кликов на страницах результатов поиска Google ), (3) использование социальных мотивов (например, пометка лиц на Facebook для получения маркированных изображений лиц), (4) интеллектуальный анализ информации (например, путем использования устройств количественной самооценки , таких как трекеры активности ) и (5) кликворк .

Мюльхофф утверждает, что в большинстве коммерческих приложений глубокого обучения для конечных пользователей, таких как система распознавания лиц Facebook , потребность в обучающих данных не прекращается после обучения ИНС. Скорее, существует постоянный спрос на данные проверки, созданные человеком, для постоянной калибровки и обновления ИНС. С этой целью Facebook представил функцию: как только пользователь автоматически распознается на изображении, он получает уведомление. Они могут выбрать, хотят ли они, чтобы их публично отмечали на изображении, или сказать Facebook, что на изображении не они. Этот пользовательский интерфейс представляет собой механизм генерации «постоянного потока проверочных данных». для дальнейшего обучения сети в режиме реального времени. Как утверждает Мюльхофф, участие пользователей-людей для создания данных обучения и проверки настолько типично для большинства коммерческих приложений глубокого обучения для конечных пользователей, что такие системы можно назвать «искусственным интеллектом, управляемым человеком».

См. также

• Приложения искусственного интеллекта
• Сравнение программного обеспечения глубокого обучения
• Сжатое зондирование
• Дифференцируемое программирование
• Государственная сеть Эхо
• Список проектов искусственного интеллекта
• Машина жидкого состояния
• Список наборов данных для исследований в области машинного обучения
• Резервные вычисления
• Масштабирование пространства и глубокое обучение
• Разреженное кодирование
• Стохастический попугай
• Топологическое глубокое обучение

Дальнейшее чтение

• Бишоп Кристофер М.; Бишоп, Хью (2024). Глубокое обучение: основы и концепции . Спрингер. ISBN  978-3-031-45467-7 .
• Принс, Саймон Джей Ди (2023). Понимание глубокого обучения . Массачусетский технологический институт Пресс. ISBN  9780262048644 .
• Гудфеллоу, Ян ; Бенджио, Йошуа ; Курвиль, Аарон (2016). Глубокое обучение . МТИ Пресс. ISBN  978-0-26203561-3 . Архивировано из оригинала 16 апреля 2016 г. Проверено 9 мая 2021 г. , вводный учебник. {{cite book}}: CS1 maint: постскриптум ( ссылка )