Глубокое обучение

Чтобы узнать об эпизоде ​​сериала, см. « Глубокое обучение (Южный парк)» .

Представление изображений на нескольких уровнях абстракции в глубоком обучении

Глубокое обучение — это подмножество методов машинного обучения , основанных на нейронных сетях с обучением представлений . Прилагательное «глубокий» относится к использованию в сети нескольких уровней. Используемые методы могут быть контролируемыми , полуконтролируемыми или неконтролируемыми .

Архитектуры глубокого обучения, такие как глубокие нейронные сети , сети глубоких убеждений , рекуррентные нейронные сети , сверточные нейронные сети и преобразователи, применяются в таких областях, как компьютерное зрение , распознавание речи , обработка естественного языка , машинный перевод , биоинформатика , дизайн лекарств , анализ медицинских изображений. , климатологии , инспекции материалов и программ настольных игр , где они дали результаты, сравнимые, а в некоторых случаях превосходящие результаты человеческих экспертов.

Ранние формы нейронных сетей были вдохновлены обработкой информации и распределенными узлами связи в биологических системах , в частности в человеческом мозге . Однако современные нейронные сети не предназначены для моделирования функций мозга организмов и обычно рассматриваются для этой цели как модели низкого качества.

Обзор

Большинство современных моделей глубокого обучения основаны на многослойных нейронных сетях , таких как сверточные нейронные сети и преобразователи , хотя они также могут включать в себя пропозициональные формулы или скрытые переменные, организованные послойно в глубоких генеративных моделях, таких как узлы в глубоких сетях доверия и глубоких моделях Больцмана. машины .

По сути, глубокое обучение относится к классу машинного обучения алгоритмов , в которых иерархия слоев используется для преобразования входных данных в несколько более абстрактное и составное представление. Например, в модели распознавания изображений необработанными входными данными может быть изображение (представленное в виде пикселей ) тензора . Первый репрезентативный уровень может пытаться идентифицировать основные формы, такие как линии и круги, второй уровень может составлять и кодировать расположение краев, третий уровень может кодировать нос и глаза, а четвертый уровень может распознавать, что изображение содержит лицо.

Важно отметить, что процесс глубокого обучения может самостоятельно определить, какие функции на каком уровне оптимально разместить . До глубокого обучения методы машинного обучения часто включали в себя ручную разработку признаков для преобразования данных в более подходящее представление для работы алгоритма классификации. В подходе глубокого обучения функции не создаются вручную, и модель автоматически обнаруживает полезные представления функций из данных. Это не исключает необходимости ручной настройки; например, разное количество слоев и их размеры могут обеспечить разную степень абстракции.

Слово «глубокий» в «глубоком обучении» относится к количеству слоев, посредством которых преобразуются данные. Точнее, системы глубокого обучения имеют значительную глубину пути присвоения кредитов (CAP). CAP — это цепочка преобразований от входа к выходу. CAP описывают потенциально причинно-следственные связи между входом и выходом. Для нейронной сети прямого распространения глубина CAP равна глубине сети и равна количеству скрытых слоев плюс один (поскольку выходной слой также параметризуется). Для рекуррентных нейронных сетей , в которых сигнал может распространяться через слой более одного раза, глубина CAP потенциально не ограничена. Не существует общепринятого порога глубины, который разделяет поверхностное обучение и глубокое обучение, но большинство исследователей согласны с тем, что глубокое обучение предполагает глубину CAP выше 2. Было показано, что CAP глубины 2 является универсальным аппроксиматором в том смысле, что он может имитировать любую функцию. . Помимо этого, большее количество слоев не увеличивает возможности аппроксимации функций сети. Глубокие модели (CAP > 2) способны извлекать лучшие функции, чем поверхностные модели, и, следовательно, дополнительные слои помогают эффективно изучать функции.

Архитектуры глубокого обучения могут быть построены жадным послойным методом. Глубокое обучение помогает распутать эти абстракции и выбрать, какие функции улучшают производительность.

Алгоритмы глубокого обучения могут применяться к задачам обучения без присмотра. Это важное преимущество, поскольку немаркированных данных больше, чем маркированных. Примерами глубоких структур, которые можно обучать без присмотра, являются сети глубоких убеждений .

Интерпретации

Глубокие нейронные сети обычно интерпретируются с точки зрения универсальной аппроксимационной теоремы. или вероятностный вывод .

Классическая универсальная теорема аппроксимации касается способности нейронных сетей прямого распространения с одним скрытым слоем конечного размера аппроксимировать непрерывные функции . опубликовал первое доказательство В 1989 году Джордж Цыбенко функций сигмовидной кишки . активации и был обобщен для многоуровневых архитектур с прямой связью в 1991 году Куртом Хорником. Недавняя работа также показала, что универсальное приближение справедливо и для неограниченных функций активации, таких как Кунихико Фукусимы выпрямленная линейная единица .

Универсальная аппроксимационная теорема для глубоких нейронных сетей касается пропускной способности сетей с ограниченной шириной, но глубине разрешено расти. Лу и др. доказал, что если ширина глубокой нейронной сети с активацией ReLU строго больше входной размерности, то сеть может аппроксимировать любую интегрируемую по Лебегу функцию ; если ширина меньше или равна входному измерению, то глубокая нейронная сеть не является универсальным аппроксиматором.

Вероятностная ​ интерпретация происходит из области машинного обучения . Он включает в себя умозаключение, а также оптимизации концепции обучения и тестирования , связанные с подгонкой и обобщением соответственно. Более конкретно, вероятностная интерпретация рассматривает нелинейность активации как кумулятивную функцию распределения . Вероятностная интерпретация привела к использованию отсева в качестве регуляризатора в нейронных сетях. Вероятностная интерпретация была предложена такими исследователями, как Хопфилд , Уидроу и Нарендра , и популяризирована в исследованиях, таких как исследование Бишопа .

История

Существовало два типа искусственных нейронных сетей (ИНС): нейронные сети прямого распространения (FNN) и рекуррентные нейронные сети (RNN). У RNN есть циклы в структуре связности, у FNN их нет. В 1920-х годах Вильгельм Ленц и Эрнст Изинг создали и проанализировали модель Изинга. по сути, это необучающаяся архитектура RNN, состоящая из нейроноподобных пороговых элементов. В 1972 году Шуничи Амари сделал эту архитектуру адаптивной. Его изучение RNN было популяризировано Джоном Хопфилдом в 1982 году.

Чарльз Тапперт пишет, что Фрэнк Розенблатт разработал и исследовал все основные компоненты современных систем глубокого обучения. ссылка на книгу Розенблатта 1962 года который представил многослойный персептрон (MLP) с тремя слоями: входным слоем, скрытым слоем со случайными весами, которые не обучались, и выходным слоем. Он также представил варианты, в том числе версию с четырехслойными перцептронами, где последние два слоя обучаются весам (и, таким образом, это настоящий многослойный перцептрон). Кроме того, термин глубокое обучение был предложен в 1986 году Риной Дектер. хотя история его появления, видимо, более сложна.

Первый общий рабочий алгоритм обучения для контролируемых, глубоких, многослойных перцептронов с прямой связью был опубликован Алексеем Ивахненко и Лапа в 1967 году. В статье 1971 года описывалась глубокая сеть с восемью уровнями, обученная групповым методом обработки данных .

Первый многослойный перцептрон глубокого обучения , обученный методом стохастического градиентного спуска был опубликован в 1967 году Шуничи Амари . В компьютерных экспериментах, проведенных учеником Амари Сайто, пятислойная MLP с двумя изменяемыми слоями изучила внутренние представления для классификации классов нелинейно разделимых шаблонов. В 1987 году Мэтью Брэнд сообщил, что широкие 12-слойные нелинейные перцептроны могут быть полностью обучены для воспроизведения логических функций нетривиальной глубины схемы посредством градиентного спуска на небольших партиях случайных входных/выходных выборок, но пришел к выводу, что время обучения на современном оборудовании (компьютеры с субмегафлопсной производительностью) сделали эту технику непрактичной и предложили использовать фиксированные случайные ранние слои в качестве входного хеша для одного изменяемого слоя. Вместо этого последующие разработки в области аппаратного обеспечения и настройки гиперпараметров сделали сквозной стохастический градиентный спуск доминирующим в настоящее время методом обучения.

В 1970 году Сеппо Линнаинмаа опубликовал обратный режим автоматического дифференцирования дискретных связных сетей вложенных дифференцируемых функций. Это стало известно как обратное распространение ошибки . Это эффективное применение цепного правила, выведенного Готфридом Вильгельмом Лейбницем в 1673 году. к сетям дифференцируемых узлов. Терминология «ошибки обратного распространения ошибки» была введена в 1962 году Розенблаттом. но он не знал, как это реализовать, хотя у Генри Дж. Келли был постоянный предшественник обратного распространения ошибки уже в 1960 году в контексте теории управления . В 1982 году Пол Вербос применил обратное распространение ошибки к MLP способом, который стал стандартным. В 1985 году Дэвид Э. Румельхарт и др. опубликовал экспериментальный анализ метода.

Архитектуры глубокого обучения для сверточных нейронных сетей (CNN) со сверточными слоями и слоями понижающей дискретизации начались с Неокогнитрона , представленного Кунихико Фукусимой в 1980 году. В 1969 году он также представил ReLU (выпрямленная линейная единица) функцию активации . Выпрямитель стал самой популярной функцией активации для CNN и глубокого обучения в целом. CNN стали важным инструментом компьютерного зрения .

Термин « глубокое обучение» был представлен сообществу машинного обучения Риной Дектер в 1986 году. и искусственным нейронным сетям Игоря Айзенберга и его коллег в 2000 году в контексте логических пороговых нейронов.

В 1988 году Вэй Чжан и др. применил алгоритм обратного распространения ошибки к сверточной нейронной сети (упрощенному неокогнитрону со сверточными связями между слоями признаков изображения и последним полносвязным слоем) для распознавания алфавита. Они также предложили реализацию CNN с оптической вычислительной системой. В 1989 году Ян ЛеКун и др. применил обратное распространение ошибки к CNN с целью распознавания рукописных почтовых индексов в почте. Пока алгоритм работал, обучение заняло 3 дня. Впоследствии Вэй Чжан и др. модифицировали свою модель, удалив последний полностью связанный слой, и применили ее для сегментации объектов медицинских изображений в 1991 году. и обнаружение рака молочной железы с помощью маммографии в 1994 году. LeNet-5 (1998), 7-уровневая CNN, созданная Яном ЛеКуном и др., который классифицирует цифры, был применен несколькими банками для распознавания рукописных чисел на чеках, оцифрованных в изображениях размером 32x32 пикселя.

В 1980-х годах обратное распространение ошибки не подходило для глубокого обучения с длинными путями присвоения кредитов. Чтобы преодолеть эту проблему, Юрген Шмидхубер (1992) предложил иерархию RNN, предварительно обучаемых по одному уровню за раз посредством самостоятельного обучения . Он использует прогнозирующее кодирование для изучения внутренних представлений в нескольких самоорганизующихся временных масштабах. Это может существенно облегчить последующее глубокое обучение. Иерархию RNN можно свернуть в единую RNN путем разделения более высокого уровня сети блоков в сеть автоматизатора более низкого уровня . В 1993 году чанкёр решил задачу глубокого обучения, глубина которой превысила 1000.

В 1992 году Юрген Шмидхубер также опубликовал альтернативу RNN. который теперь называется линейным Трансформатором или Трансформатором с линеаризованным самовниманием (за исключением оператора нормализации). Он усваивает внутренние направления внимания : медленная нейронная сеть прямого распространения учится путем градиентного спуска управлять быстрыми весами другой нейронной сети через внешние продукты самогенерируемых шаблонов активации ОТ и ДО (которые теперь называются ключом и значением для самообслуживания ). Это быстрое отображение внимания к весам применяется к шаблону запроса.

Современный Трансформер был представлен Ашишем Васвани и др. в своей статье 2017 года «Внимание — это все, что вам нужно». Он сочетает в себе это с оператором softmax и матрицей проекции. Трансформаторы все чаще становятся предпочтительной моделью обработки естественного языка . многие современные модели больших языков, такие как ChatGPT , GPT-4 и BERT Его используют . Трансформаторы также все чаще используются в компьютерном зрении .

В 1991 году Юрген Шмидхубер также опубликовал состязательные нейронные сети, которые соревнуются друг с другом в форме игры с нулевой суммой , где выигрыш одной сети является проигрышем другой сети. Первая сеть представляет собой генеративную модель , которая моделирует распределение вероятностей по шаблонам выходных данных. Вторая сеть учится с помощью градиентного спуска предсказывать реакцию окружающей среды на эти закономерности. Это называлось «искусственное любопытство». В 2014 году этот принцип был использован в генеративно-состязательной сети (GAN) Яном Гудфеллоу и др. Здесь реакция окружающей среды равна 1 или 0 в зависимости от того, входит ли выход первой сети в данный набор. Это можно использовать для создания реалистичных дипфейков . Превосходное качество изображения достигается с помощью Nvidia от StyleGAN (2018). на основе Progressive GAN Теро Карраса и др. Здесь генератор GAN растет от малого к большому по пирамидальной схеме.

Зеппа Хохрайтера (1991). Дипломная работа был назван «одним из самых важных документов в истории машинного обучения» его руководителем Шмидхубером . Он не только протестировал компрессор нейронной истории, но также выявил и проанализировал проблему исчезающего градиента . Хохрейтер предложил рекуррентные остаточные связи для решения этой проблемы. Это привело к появлению метода глубокого обучения под названием «длинная кратковременная память» (LSTM), опубликованного в 1997 году. Рекуррентные нейронные сети LSTM могут изучать задачи «очень глубокого обучения» с длинными путями присвоения кредитов, требующими воспоминаний о событиях, произошедших за тысячи дискретных шагов времени до этого. «Ванильный LSTM» с затвором забывания был представлен в 1999 году Феликсом Герсом , Шмидхубером и Фредом Камминсом. LSTM стала самой цитируемой нейронной сетью 20 века. В 2015 году Рупеш Кумар Шривастава, Клаус Грефф и Шмидхубер использовали LSTM принципы для создания сети Highway — нейронной сети прямого распространения с сотнями слоев, гораздо более глубокой, чем предыдущие сети. 7 месяцев спустя Каймин Хэ, Сянъюй Чжан; с открытыми воротами или без ворот сети шоссе Шаоцин Рен и Цзянь Сунь выиграли конкурс ImageNet 2015, предложив вариант под названием Остаточная нейронная сеть . Это самая цитируемая нейронная сеть 21 века.

В 1994 году Андре де Карвалью вместе с Майком Фэйрхерстом и Дэвидом Биссетом опубликовали экспериментальные результаты многослойной булевой нейронной сети, также известной как невесомая нейронная сеть, состоящей из трехслойного самоорганизующегося модуля нейронной сети для извлечения признаков ( SOFT), за которым следовал модуль нейронной сети многоуровневой классификации (GSN), которые прошли независимое обучение. Каждый уровень модуля извлечения признаков извлекал признаки с возрастающей сложностью по сравнению с предыдущим слоем.

В 1995 году Брендан Фрей продемонстрировал, что можно обучать (в течение двух дней) сеть, содержащую шесть полностью связанных слоев и несколько сотен скрытых блоков, с помощью алгоритма пробуждения-сна , разработанного совместно с Питером Даяном и Хинтоном .

С 1997 года Свен Бенке расширил иерархический сверточный подход с прямой связью в пирамиде нейронной абстракции. посредством боковых и обратных связей, чтобы гибко включать контекст в решения и итеративно разрешать локальные двусмысленности.

Более простые модели, в которых используются функции, созданные вручную для конкретных задач, такие как фильтры Габора и машины опорных векторов (SVM), были популярным выбором в 1990-х и 2000-х годах из-за вычислительной стоимости искусственных нейронных сетей и отсутствия понимания того, как мозг связывает свои биологические процессы. сети.

Как поверхностное, так и глубокое обучение (например, рекуррентные сети) ИНС для распознавания речи исследуются уже много лет. Эти методы никогда не превосходили технологию неоднородной внутренней модели смеси Гаусса / скрытой модели Маркова (GMM-HMM), основанную на генеративных моделях речи, обученных дискриминативно. Были проанализированы основные трудности, в том числе уменьшение градиента. и слабая структура временной корреляции в нейронных прогнозирующих моделях. Дополнительными трудностями были отсутствие обучающих данных и ограниченная вычислительная мощность. Большинство исследователей распознавания речи отошли от нейронных сетей и занялись генеративным моделированием. Исключением была компания SRI International в конце 1990-х годов. США SRI, финансируемый АНБ и DARPA , изучал глубокие нейронные сети (DNN) в распознавании речи и говорящего . Группа распознавания говорящих под руководством Ларри Хека сообщила о значительных успехах в использовании глубоких нейронных сетей в обработке речи в ходе оценки распознавания говорящих Национального института стандартов и технологий 1998 года . Затем глубокая нейронная сеть SRI была развернута в Nuance Verifier, представляя собой первое крупное промышленное применение глубокого обучения. Принцип превосходства «необработанных» функций над оптимизацией, созданной вручную, был впервые успешно исследован в архитектуре глубокого автокодирования на «необработанных» спектрограммах или функциях набора линейных фильтров в конце 1990-х годов. показывая его превосходство над функциями Мел-Цепстра , которые содержат стадии фиксированной трансформации из спектрограмм. Необработанные характеристики речи, формы сигналов , позже дали превосходные результаты в более крупном масштабе.

Распознавание речи взял на себя LSTM . В 2003 году LSTM начал конкурировать с традиционными распознавателями речи в определенных задачах. В 2006 году Алекс Грейвс , Сантьяго Фернандес, Фаустино Гомес и Шмидхубер объединили ее с коннекционистской временной классификацией (CTC). в стеках LSTM RNN. Сообщается, что в 2015 году производительность распознавания речи Google резко выросла на 49% благодаря LSTM, обученному CTC, который они сделали доступным через Google Voice Search .

По словам Яна Лекуна, влияние глубокого обучения на промышленность началось в начале 2000-х годов, когда CNN уже обрабатывали от 10% до 20% всех чеков, выписанных в США. Промышленное применение глубокого обучения для крупномасштабного распознавания речи началось примерно в 2010 году.

В 2006 году вышли публикации Джеффа Хинтона , Руслана Салахутдинова , Осиндеро и Тех. показал, как многослойную нейронную сеть прямого распространения можно эффективно предварительно обучать по одному слою за раз, обрабатывая каждый слой по очереди как неконтролируемую ограниченную машину Больцмана , а затем настраивая ее с помощью контролируемого обратного распространения ошибки. В документах говорилось об обучении глубоким сетям убеждений.

Семинар NIPS 2009 года по глубокому обучению для распознавания речи был мотивирован ограничениями глубоких генеративных моделей речи и возможностью того, что при наличии более мощного оборудования и крупномасштабных наборов данных глубокие нейронные сети могут стать практичными. Считалось, что предварительное обучение DNN с использованием генеративных моделей сетей глубокого доверия (DBN) позволит преодолеть основные трудности нейронных сетей. Однако было обнаружено, что замена предварительного обучения большими объемами обучающих данных для прямого обратного распространения ошибки при использовании DNN с большими контекстно-зависимыми выходными слоями приводит к значительно более низкому уровню ошибок, чем современная на тот момент модель гауссовской смеси (GMM). )/Скрытая марковская модель (HMM), а также более продвинутые системы на основе генеративных моделей. Природа ошибок распознавания, производимых двумя типами систем, характерно различалась. предлагая техническую информацию о том, как интегрировать глубокое обучение в существующую высокоэффективную систему декодирования речи во время выполнения, используемую всеми основными системами распознавания речи. Анализ 2009–2010 годов, сравнивающий GMM (и другие модели генеративной речи) с моделями DNN, стимулировал ранние промышленные инвестиции в глубокое обучение для распознавания речи. Этот анализ был проведен с сопоставимой производительностью (менее 1,5% по частоте ошибок) между дискриминативными DNN и генеративными моделями. В 2010 году исследователи расширили глубокое обучение от TIMIT до распознавания речи с большим словарным запасом, приняв большие выходные слои DNN на основе контекстно-зависимых состояний HMM, построенных с помощью деревьев решений .

Глубокое обучение является частью современных систем в различных дисциплинах, в частности в компьютерном зрении и автоматическом распознавании речи (ASR). Результаты часто используемых оценочных наборов, таких как TIMIT (ASR) и MNIST ( классификация изображений ), а также ряда задач по распознаванию речи с большим словарным запасом постоянно улучшаются. Сверточные нейронные сети были заменены ASR на CTC. для ЛСТМ . но более успешны в компьютерном зрении.

Достижения в области аппаратного обеспечения возобновили интерес к глубокому обучению. В 2009 году Nvidia участвовала в так называемом «большом взрыве» глубокого обучения, «поскольку нейронные сети глубокого обучения обучались с помощью графических процессоров (GPU) Nvidia». В том же году Эндрю Нг определил, что графические процессоры могут увеличить скорость систем глубокого обучения примерно в 100 раз. В частности, графические процессоры хорошо подходят для матричных/векторных вычислений, используемых в машинном обучении. Графические процессоры ускоряют алгоритмы обучения на порядки, сокращая время работы с недель до дней. Кроме того, для эффективной обработки моделей глубокого обучения можно использовать специализированное оборудование и оптимизацию алгоритмов.

Революция глубокого обучения

Насколько глубокое обучение является частью машинного обучения и что машинное обучение является частью искусственного интеллекта (ИИ)

В конце 2000-х годов глубокое обучение начало превосходить другие методы в соревнованиях по машинному обучению.В 2009 году длинная кратковременная память тренировалась с помощью коннекционистской временной классификации ( Алекс Грейвс , Сантьяго Фернандес, Фаустино Гомес и Юрген Шмидхубер , 2006). был первым RNN, выигравшим конкурсы по распознаванию образов , выиграв три конкурса по распознаванию связанного рукописного ввода . Позже Google использовал LSTM, обученный CTC, для распознавания речи на смартфоне .

Значительное влияние на распознавание изображений или объектов ощущалось в период с 2011 по 2012 год. Хотя CNN, обученные методом обратного распространения ошибки, существовали уже несколько десятилетий, и реализации NN на GPU в течение многих лет, включая CNN, Для прогресса в области компьютерного зрения требовалось более быстрое внедрение CNN на графических процессорах. В 2011 году DanNet Дэн Чиресан, Ули Мейер, Джонатан Маски, Лука Мария Гамбарделла и Юрген Шмидхубер впервые достигли сверхчеловеческих результатов в конкурсе по визуальному распознаванию образов, превзойдя традиционные методы в 3 раза. Также в 2011 году DanNet выиграла конкурс китайского почерка ICDAR, а в мае 2012 года — конкурс сегментации изображений ISBI. До 2011 года CNN не играли важной роли на конференциях по компьютерному зрению, но в июне 2012 года появилась статья Чиресана и др. на ведущей конференции CVPR показал, как максимальное объединение CNN на графическом процессоре может значительно улучшить многие показатели тестов машинного зрения. В сентябре 2012 года DanNet также выиграла конкурс ICPR по анализу больших медицинских изображений для выявления рака, а в следующем году — MICCAI Grand Challenge по той же теме. В октябре 2012 года аналогичный AlexNet , Алекса Крижевского Ильи Суцкевера и Джеффри Хинтона выиграл крупномасштабное соревнование ImageNet со значительным отрывом от поверхностных методов машинного обучения. Сеть VGG-16 Карена Симоняна и Андрея Зиссермана еще больше снизило частоту ошибок ивыиграл конкурс ImageNet 2014, следуя аналогичной тенденции в области крупномасштабного распознавания речи.

Затем классификация изображений была расширена до более сложной задачи создания описаний (подписей) для изображений, часто в виде комбинации CNN и LSTM.

В 2012 году команда под руководством Джорджа Э. Даля выиграла конкурс Merck Molecular Activity Challenge, используя многозадачные глубокие нейронные сети для прогнозирования биомолекулярной мишени одного лекарства. В 2014 году группа Зеппа Хохрейтера использовала глубокое обучение для обнаружения нецелевого и токсического воздействия химических веществ из окружающей среды в питательных веществах, предметах домашнего обихода и лекарствах и выиграла конкурс «Tox21 Data Challenge» от NIH , FDA и NCATS .

В 2016 году Роджер Парлофф упомянул «революцию глубокого обучения», которая изменила индустрию искусственного интеллекта.

В марте 2019 года Йошуа Бенджио , Джеффри Хинтон и Ян ЛеКун были награждены Премией Тьюринга за концептуальные и инженерные прорывы, которые сделали глубокие нейронные сети важнейшим компонентом вычислений.

Нейронные сети

Основная статья: Искусственная нейронная сеть

Упрощенный пример обучения нейронной сети обнаружению объектов: сеть обучается на нескольких изображениях, на которых, как известно, изображены морские звезды и морские ежи , которые коррелируют с «узлами», представляющими визуальные особенности . Морская звезда сочетается с кольцевой текстурой и звездным контуром, тогда как большинство морских ежей сочетается с полосатой текстурой и овальной формой. Однако экземпляр морского ежа с кольцевой текстурой создает между ними слабо взвешенную ассоциацию.

Последующий запуск сети на входном изображении (слева): Сеть правильно обнаруживает морскую звезду. Однако слабовзвешенная связь между кольцевой текстурой и морским ежом также дает последнему слабый сигнал от одного из двух промежуточных узлов. Кроме того, раковина , не включенная в обучение, дает слабый сигнал овальной формы, что также приводит к слабому сигналу выхода морского ежа. Эти слабые сигналы могут привести к ложноположительному результату на морского ежа.
В действительности текстуры и контуры будут представлены не отдельными узлами, а скорее соответствующими весовыми шаблонами нескольких узлов.

Искусственные нейронные сети ( ИНС ) или коннекционистские системы — это вычислительные системы, вдохновленные биологическими нейронными сетями , которые составляют мозг животных. Такие системы учатся (постепенно совершенствуют свои способности) выполнять задачи, рассматривая примеры, как правило, без программирования для конкретных задач. Например, при распознавании изображений они могут научиться распознавать изображения, на которых есть кошки, анализируя примеры изображений, которые были вручную помечены как «кошка» или «нет кошки», и используя результаты анализа для идентификации кошек на других изображениях. Они нашли наибольшее применение в приложениях, которые трудно выразить с помощью традиционного компьютерного алгоритма с использованием программирования на основе правил .

ИНС основана на наборе связанных единиц, называемых искусственными нейронами (аналог биологических нейронов в биологическом мозге ). Каждое соединение ( синапс ) между нейронами может передавать сигнал другому нейрону. Принимающий (постсинаптический) нейрон может обрабатывать сигнал(ы), а затем сигнализировать нижестоящим нейронам, подключенным к нему. Нейроны могут иметь состояние, обычно представленное действительными числами , обычно от 0 до 1. Нейроны и синапсы также могут иметь вес, который меняется по мере обучения, что может увеличивать или уменьшать силу сигнала, который они посылают вниз по течению.

Обычно нейроны организованы слоями. Разные слои могут выполнять разные виды преобразований на своих входах. Сигналы перемещаются от первого (входного) к последнему (выходному) слою, возможно, после многократного прохождения слоев.

Первоначальная цель нейросетевого подхода заключалась в том, чтобы решать проблемы так же, как это делает человеческий мозг. Со временем внимание сосредоточилось на сопоставлении конкретных умственных способностей, что привело к отклонениям от биологии, таким как обратное распространение ошибки или передача информации в обратном направлении и настройка сети для отражения этой информации.

Нейронные сети использовались для решения различных задач, включая компьютерное зрение, распознавание речи , машинный перевод , социальных сетей фильтрацию , настольные и видеоигры , а также медицинскую диагностику.

По состоянию на 2017 год нейронные сети обычно насчитывают от нескольких тысяч до нескольких миллионов единиц и миллионов соединений. Несмотря на то, что это число на несколько порядков меньше количества нейронов в человеческом мозге, эти сети могут выполнять многие задачи на уровне, превосходящем человеческий (например, распознавание лиц или игра в «го»). ).

Глубокие нейронные сети

Глубокая нейронная сеть (DNN) — это искусственная нейронная сеть с несколькими слоями между входным и выходным слоями. Существуют разные типы нейронных сетей, но они всегда состоят из одних и тех же компонентов: нейронов, синапсов, весов, смещений и функций. Эти компоненты в целом функционируют таким образом, что имитируют функции человеческого мозга, и их можно обучать, как и любой другой алгоритм ML.

Например, DNN, обученная распознавать породы собак, просматривает данное изображение и рассчитывает вероятность того, что собака на изображении принадлежит к определенной породе. Пользователь может просмотреть результаты и выбрать, какие вероятности должна отображать сеть (выше определенного порога и т. д.), а также вернуть предложенную метку. Каждая математическая манипуляция как таковая рассматривается как слой, и сложные DNN имеют много слоев, отсюда и название «глубокие» сети.

DNN могут моделировать сложные нелинейные отношения. Архитектуры DNN генерируют композиционные модели, в которых объект выражается как многоуровневая композиция примитивов . Дополнительные уровни позволяют комбинировать объекты из нижних слоев, потенциально моделируя сложные данные с меньшим количеством единиц, чем в мелкой сети с аналогичной производительностью. Например, было доказано, что разреженные многомерные полиномы экспоненциально легче аппроксимировать с помощью DNN, чем с помощью мелких сетей.

Глубокие архитектуры включают множество вариантов нескольких базовых подходов. Каждая архитектура нашла успех в определенных областях. Не всегда возможно сравнить производительность нескольких архитектур, если только они не оценивались на одних и тех же наборах данных.

DNN обычно представляют собой сети прямой связи, в которых данные передаются от входного уровня к выходному без обратного цикла. Сначала DNN создает карту виртуальных нейронов и присваивает случайные числовые значения или «веса» связям между ними. Веса и входные данные умножаются и возвращают выходные данные в диапазоне от 0 до 1. Если сеть не распознала точно определенный шаблон, алгоритм скорректирует веса. Таким образом, алгоритм может сделать определенные параметры более влиятельными, пока не определит правильные математические манипуляции для полной обработки данных.

Рекуррентные нейронные сети , в которых данные могут передаваться в любом направлении, используются для таких приложений, как языковое моделирование . Длительная кратковременная память особенно эффективна для этого использования.

Сверточные нейронные сети (CNN) используются в компьютерном зрении. CNN также применялись для акустического моделирования для автоматического распознавания речи (ASR).

Проблемы

Как и в случае с ИНС, с наивно обученными DNN может возникнуть множество проблем. Двумя распространенными проблемами являются переобучение и время вычислений.

DNN склонны к переоснащению из-за дополнительных уровней абстракции, которые позволяют им моделировать редкие зависимости в обучающих данных. Методы регуляризации, такие как сокращение единиц Ивахненко. или снижение веса ( $\ell _{2}$-регуляризация) или разреженность ( $\ell _{1}$-регуляризация) может применяться во время тренировок для борьбы с переобучением. Альтернативно, регуляризация отсева случайным образом исключает единицы из скрытых слоев во время обучения. Это помогает исключить редкие зависимости. Наконец, данные можно дополнять с помощью таких методов, как обрезка и вращение, чтобы можно было увеличить размер меньших обучающих наборов, чтобы уменьшить вероятность переобучения.

DNN должны учитывать множество параметров обучения, таких как размер (количество слоев и количество единиц на слой), скорость обучения и начальные веса. Просмотр пространства параметров для поиска оптимальных параметров может оказаться невозможным из-за затрат времени и вычислительных ресурсов. Различные трюки, такие как пакетная обработка (вычисление градиента сразу на нескольких обучающих примерах, а не на отдельных примерах). ускорить вычисления. Большие вычислительные возможности многоядерных архитектур (таких как графические процессоры или Intel Xeon Phi) позволили значительно ускорить обучение благодаря пригодности таких архитектур обработки для матричных и векторных вычислений.

В качестве альтернативы инженеры могут искать другие типы нейронных сетей с более простыми и конвергентными алгоритмами обучения. CMAC ( контроллер артикуляции модели мозжечка ) — один из таких типов нейронной сети. Он не требует скорости обучения или рандомизированных начальных весов. Можно гарантировать, что процесс обучения сходится за один шаг с новой порцией данных, а вычислительная сложность алгоритма обучения линейна в зависимости от количества задействованных нейронов.

Аппаратное обеспечение

С 2010-х годов достижения как в алгоритмах машинного обучения, так и в компьютерном оборудовании привели к появлению более эффективных методов обучения глубоких нейронных сетей, которые содержат множество слоев нелинейных скрытых модулей и очень большой выходной слой. К 2019 году графические процессоры (GPU), часто с усовершенствованиями, специально предназначенными для искусственного интеллекта, вытеснили центральные процессоры в качестве доминирующего метода обучения крупномасштабного коммерческого облачного искусственного интеллекта. OpenAI OpenAI оценил аппаратные вычисления, используемые в крупнейших проектах глубокого обучения, от AlexNet (2012) до AlphaZero (2017), и обнаружил 300 000-кратное увеличение объема необходимых вычислений с линией тренда удвоения, равной 3,4 месяца.

Специальные электронные схемы , называемые процессорами глубокого обучения, были разработаны для ускорения алгоритмов глубокого обучения. Процессоры глубокого обучения включают в себя нейронные процессоры (NPU) в Huawei . мобильных телефонах и серверы облачных вычислений , такие как тензорные процессоры (TPU) в Google Cloud Platform . Cerebras Systems также создала специальную систему для работы с большими моделями глубокого обучения — CS-2 — на базе крупнейшего процессора в отрасли — Wafer Scale Engine второго поколения (WSE-2).

Атомно тонкие полупроводники считаются перспективными для энергоэффективного оборудования глубокого обучения, где одна и та же базовая структура устройства используется как для логических операций, так и для хранения данных.В 2020 году Марега и др. опубликовали эксперименты с материалом активного канала большой площади для разработки устройств и схем логики в памяти на основе с плавающим затвором полевых транзисторов (FGFET).

В 2021 г. Дж. Фельдманн и др. предложил интегрированный фотонный аппаратный ускоритель для параллельной сверточной обработки. Авторы выделяют два ключевых преимущества интегрированной фотоники перед ее электронными аналогами: (1) массово параллельная передача данных посредством по длине волны с разделением мультиплексирования в сочетании с частотными гребенками и (2) чрезвычайно высокая скорость модуляции данных. Их система может выполнять триллионы операций умножения-накопления в секунду, что указывает на потенциал интегрированной фотоники в приложениях искусственного интеллекта с большим объемом данных.

Приложения

Автоматическое распознавание речи

Основная статья: Распознавание речи

Масштабное автоматическое распознавание речи — первый и наиболее убедительный успешный случай глубокого обучения. LSTM RNN могут изучать задачи «очень глубокого обучения» которые включают в себя многосекундные интервалы, содержащие речевые события, разделенные тысячами дискретных временных шагов, где один временной шаг соответствует примерно 10 мс. LSTM с воротами забывания конкурирует с традиционными распознавателями речи в определенных задачах.

Первоначальный успех в распознавании речи был основан на небольших задачах распознавания на основе TIMIT. Набор данных содержит 630 носителей восьми основных диалектов американского английского , где каждый говорящий читает 10 предложений. Его небольшой размер позволяет опробовать множество конфигураций. Что еще более важно, задача TIMIT касается распознавания телефонных последовательностей, которое, в отличие от распознавания последовательностей слов, позволяет создавать слабые телефонных биграмм языковые модели . Это позволяет легче анализировать сильные стороны акустического моделирования распознавания речи. Перечисленные ниже коэффициенты ошибок, включая эти ранние результаты и измеренные в процентах коэффициента ошибок телефона (PER), суммируются с 1991 года.

Метод	Процент телефона коэффициент ошибок (PER) (%)
Случайно инициализированный RNN	26.1
Байесовский трифон GMM-HMM	25.6
Модель скрытой траектории (генеративная)	24.8
Монофонический случайно инициализированный DNN	23.4
Монофон ДБН-ДНН	22.4
Triphone GMM-HMM с обучением BMMI	21.7
Монофон ДБН-ДНН на фбанке	20.7
Сверточная DNN	20.0
Сверточная DNN w. Гетерогенное объединение	18.7
Ансамбль ДНН/CNN/РНН	18.3
Двунаправленный LSTM	17.8
Иерархическая сверточная сеть Deep Maxout	16.5

Дебют DNN для распознавания говорящего в конце 1990-х годов, распознавания речи примерно в 2009–2011 годах и LSTM примерно в 2003–2007 годах ускорил прогресс в восьми основных областях:

• Масштабирование и ускорение обучения и декодирования DNN
• Последовательное дискриминационное обучение
• Обработка признаков с помощью глубоких моделей с глубоким пониманием основных механизмов
• Адаптация DNN и связанных с ними глубоких моделей
• Многозадачное и трансферное обучение с помощью DNN и связанных с ними глубоких моделей
• CNN и как их спроектировать, чтобы наилучшим образом использовать знания предметной области речи
• RNN и его богатые варианты LSTM
• Другие типы глубоких моделей, включая тензорные модели и интегрированные глубокие генеративные/дискриминативные модели.

Все основные коммерческие системы распознавания речи (например, Microsoft Cortana , Xbox , Skype Translator , Amazon Alexa , Google Now , Apple Siri , Baidu и голосовой поиск iFlyTek , а также ряд речевых продуктов Nuance и т. д.) основаны на глубоком обучении.

Распознавание изображений

Основная статья: Компьютерное зрение

Обычным набором оценок для классификации изображений является набор данных базы данных MNIST . MNIST состоит из рукописных цифр и включает 60 000 обучающих примеров и 10 000 тестовых примеров. Как и в случае с TIMIT, его небольшой размер позволяет пользователям тестировать несколько конфигураций. Доступен полный список результатов по этому набору.

Распознавание изображений на основе глубокого обучения стало «сверхчеловеческим», давая более точные результаты, чем участники-люди. Впервые это произошло в 2011 году при распознавании дорожных знаков, а в 2014 году — при распознавании человеческих лиц.

Транспортные средства, обученные глубокому обучению, теперь интерпретируют изображения с камер на 360°. Другим примером является новый анализ лицевой дисморфологии (FDNA), используемый для анализа случаев пороков развития человека, связанных с большой базой данных генетических синдромов.

Обработка визуального искусства

» Мунка, Визуальная художественная обработка Джимми Уэйлса во Франции со стилем « Крика примененным с использованием нейронной передачи стилей.

С прогрессом, достигнутым в распознавании изображений, тесно связано все более широкое применение методов глубокого обучения для различных задач визуального искусства. DNN доказали свою способность, например,

• определение стилевого периода данной картины
• Нейронная передача стиля – фиксация стиля данного произведения искусства и применение его визуально приятным образом к произвольной фотографии или видео.
• создание ярких изображений на основе случайных полей визуального ввода.

Обработка естественного языка

Основная статья: Обработка естественного языка

Нейронные сети используются для реализации языковых моделей с начала 2000-х годов. LSTM помог улучшить машинный перевод и языковое моделирование.

Другими ключевыми методами в этой области являются отрицательные выборки. и встраивание слов . Встраивание слов, такое как word2vec , можно рассматривать как репрезентативный уровень в архитектуре глубокого обучения, который преобразует атомарное слово в позиционное представление слова относительно других слов в наборе данных; положение представлено как точка в векторном пространстве . Использование встраивания слов в качестве входного слоя RNN позволяет сети анализировать предложения и фразы, используя эффективную композиционную векторную грамматику. Композиционную векторную грамматику можно рассматривать как вероятностную контекстно-свободную грамматику (PCFG), реализуемую RNN. Рекурсивные автокодировщики, построенные на основе встраивания слов, могут оценивать сходство предложений и обнаруживать перефразирование. Глубокие нейронные архитектуры обеспечивают наилучшие результаты при анализе избирательного округа. анализ настроений , поиск информации, понимание разговорной речи, машинный перевод, контекстное связывание сущностей, распознавание стиля письма, распознавание именованных объектов (классификация токенов), классификация текста и другие.

Недавние разработки обобщают встраивание слов в встраивание предложений .

Google Translate (GT) использует большую сквозную сеть с длинной краткосрочной памятью (LSTM). Нейронный машинный перевод Google (GNMT) использует метод машинного перевода на основе примеров , при котором система «обучается на миллионах примеров». Он переводит «целые предложения за раз, а не по частям». Google Translate поддерживает более ста языков. Сеть кодирует «семантику предложения, а не просто запоминает построчный перевод». GT использует английский как промежуточный вариант между большинством языковых пар.

Открытие лекарств и токсикология

Для получения дополнительной информации см. «Открытие лекарств и токсикология» .

Большой процент потенциальных лекарств не получает одобрения регулирующих органов. Эти неудачи вызваны недостаточной эффективностью (нецелевой эффект), нежелательными взаимодействиями (нецелевые эффекты) или непредвиденными токсическими эффектами . Исследования изучали возможность использования глубокого обучения для прогнозирования биомолекулярных целей . нецелевые результаты и токсическое воздействие химических веществ, содержащихся в питательных веществах, предметах домашнего обихода и лекарствах.

AtomNet — это система глубокого обучения для рационального проектирования лекарств на основе структуры . AtomNet использовался для прогнозирования новых биомолекул-кандидатов для борьбы с такими болезнями, как вирус Эбола. и рассеянный склероз .

В 2017 году графовые нейронные сети были впервые использованы для прогнозирования различных свойств молекул в большом наборе токсикологических данных. В 2019 году генеративные нейронные сети были использованы для производства молекул, которые были проверены экспериментально на мышах.

Управление взаимоотношениями с клиентами

Основная статья: Управление взаимоотношениями с клиентами

Глубокое обучение с подкреплением использовалось для приблизительного определения ценности возможных действий прямого маркетинга , определенной с точки зрения RFM переменных . Было показано, что функция оценочной стоимости имеет естественную интерпретацию как пожизненная ценность клиента .

Рекомендательные системы

Основная статья: Рекомендательная система

Системы рекомендаций использовали глубокое обучение для извлечения значимых функций для модели скрытых факторов для рекомендаций по музыке и журналам на основе контента. Глубокое обучение с несколькими представлениями применялось для изучения предпочтений пользователей из нескольких доменов. Модель использует гибридный подход, основанный на совместной работе и контенте, и расширяет рекомендации для решения нескольких задач.

Биоинформатика

Основная статья: Биоинформатика

Автоэнкодер аннотаций ANN использовался в биоинформатике для прогнозирования онтологии генов и отношений ген-функция.

В медицинской информатике глубокое обучение использовалось для прогнозирования качества сна на основе данных носимых устройств. и прогнозирование осложнений со здоровьем на основе данных электронных медицинских карт .

Глубокие нейронные сети продемонстрировали беспрецедентную эффективность в предсказании структуры белка в соответствии с последовательностью аминокислот, из которых он состоит. В 2020 году AlphaFold , система, основанная на глубоком обучении, достигла уровня точности, значительно превышающего все предыдущие вычислительные методы.

Оценки глубокой нейронной сети

Глубокие нейронные сети могут использоваться для оценки энтропии случайного процесса и называются оценщиком энтропии нейронных соединений (NJEE). Такая оценка дает представление о влиянии входных случайных величин на независимую случайную величину . На практике DNN обучается как классификатор , который сопоставляет входной вектор или матрицу X с выходным распределением вероятностей по возможным классам случайной величины Y при заданных входных данных X. Например, в задачах классификации изображений NJEE отображает вектор пикселей ' значения цвета для вероятностей возможных классов изображений. На практике распределение вероятностей Y получается с помощью слоя Softmax с количеством узлов, равным размеру алфавита Y. NJEE использует непрерывно дифференцируемые функции активации , так что выполняются условия универсальной теоремы аппроксимации . Показано, что этот метод обеспечивает строго согласованную оценку и превосходит другие методы в случае больших размеров алфавита.

Анализ медицинских изображений

Было показано, что глубокое обучение дает конкурентоспособные результаты в медицинских приложениях, таких как классификация раковых клеток, обнаружение поражений, сегментация органов и улучшение изображений. Современные инструменты глубокого обучения демонстрируют высокую точность выявления различных заболеваний и полезность их использования специалистами для повышения эффективности диагностики.

Мобильная реклама

Найти подходящую мобильную аудиторию для мобильной рекламы всегда непросто, поскольку необходимо учитывать и анализировать множество точек данных, прежде чем целевой сегмент можно будет создать и использовать при показе рекламы любым рекламным сервером. Глубокое обучение использовалось для интерпретации больших и многомерных наборов рекламных данных. Многие данные собираются во время цикла интернет-рекламы «запрос/обслуживание/нажатие». Эта информация может лечь в основу машинного обучения для улучшения выбора рекламы.

Восстановление изображения

Глубокое обучение успешно применяется для решения обратных задач, таких как шумоподавление , суперразрешение , рисование и раскрашивание пленки . Эти приложения включают в себя такие методы обучения, как «Поля усадки для эффективного восстановления изображений». который обучается на наборе данных изображения, и Deep Image Prior , который обучается на изображении, требующем восстановления.

Обнаружение финансового мошенничества

Глубокое обучение успешно применяется для обнаружения финансового мошенничества , уклонения от уплаты налогов, и борьба с отмыванием денег.

Материаловедение

В ноябре 2023 года исследователи из Google DeepMind и Национальной лаборатории Лоуренса Беркли объявили, что разработали систему искусственного интеллекта, известную как GNoME. Эта система внесла вклад в материаловедение , открыв более 2 миллионов новых материалов за относительно короткий период времени. GNoME использует методы глубокого обучения для эффективного исследования потенциальных структур материалов, достигая значительного улучшения идентификации стабильных неорганических кристаллических структур . Предсказания системы были подтверждены в ходе автономных роботизированных экспериментов, продемонстрировавших примечательный уровень успеха — 71%. Данные о вновь обнаруженных материалах общедоступны через базу данных Materials Project , что дает исследователям возможность идентифицировать материалы с желаемыми свойствами для различных применений. Это развитие имеет последствия для будущего научных открытий и интеграции ИИ в исследования в области материаловедения, потенциально ускоряя инновации в материалах и снижая затраты на разработку продуктов. Использование искусственного интеллекта и глубокого обучения предполагает возможность свести к минимуму или исключить ручные лабораторные эксперименты и позволить ученым больше сосредоточиться на разработке и анализе уникальных соединений.

Военный

Министерство обороны США применило глубокое обучение для обучения роботов новым задачам посредством наблюдения.

Уравнения в частных производных

Нейронные сети, основанные на физике, использовались для решения уравнений в частных производных как в прямых, так и в обратных задачах на основе данных. Одним из примеров является реконструкция потока жидкости, определяемая уравнениями Навье-Стокса . Использование нейронных сетей, основанных на физике, не требует часто дорогостоящего создания сетки, CFD . на котором полагаются традиционные методы

Метод глубокого обратного стохастического дифференциального уравнения

Метод глубокого обратного стохастического дифференциального уравнения — это численный метод, который сочетает в себе глубокое обучение с обратным стохастическим дифференциальным уравнением (BSDE). Этот метод особенно полезен для решения многомерных задач финансовой математики. Используя мощные возможности аппроксимации функций глубоких нейронных сетей , глубокий BSDE решает вычислительные проблемы, с которыми сталкиваются традиционные численные методы в многомерных условиях. В частности, традиционные методы, такие как методы конечных разностей или моделирование Монте-Карло, часто борются с проклятием размерности, когда вычислительные затраты растут экспоненциально с увеличением количества измерений. Однако методы Deep BSDE используют глубокие нейронные сети для аппроксимации решений многомерных уравнений в частных производных (PDE), что эффективно снижает вычислительную нагрузку.

Кроме того, интеграция нейронных сетей, основанных на физике (PINN), в глубокую структуру BSDE расширяет ее возможности за счет внедрения основных физических законов непосредственно в архитектуру нейронной сети. Это гарантирует, что решения не только соответствуют данным, но и соответствуют основным стохастическим дифференциальным уравнениям. PINN используют возможности глубокого обучения, соблюдая при этом ограничения, налагаемые физическими моделями, что приводит к более точным и надежным решениям задач финансовой математики.

Реконструкция изображения

Реконструкция изображения — это реконструкция основных изображений на основе измерений, связанных с изображением. Несколько работ показали лучшую и превосходящую производительность методов глубокого обучения по сравнению с аналитическими методами для различных приложений, например, спектральной визуализации. и ультразвуковое исследование.

Прогноз погоды

Традиционные системы прогнозирования погоды решают очень сложную систему дифференциальных уравнений Патриала. GraphCast — это модель, основанная на глубоком обучении, обученная на долгой истории погодных данных и позволяющая прогнозировать, как погодные условия изменяются с течением времени. Он способен прогнозировать погодные условия на срок до 10 дней по всему миру, на очень подробном уровне и менее чем за минуту, с точностью, аналогичной современным системам.

Эпигенетические часы

Основная статья: Эпигенетические часы

Эпигенетические часы — это биохимический тест , который можно использовать для измерения возраста. Галкин и др. использовали глубокие нейронные сети для обучения эпигенетических часов старения с беспрецедентной точностью, используя более 6000 образцов крови. Часы используют информацию из 1000 CpG-сайтов и прогнозируют людей с определенными заболеваниями старше, чем здоровый контроль: воспалительное заболевание кишечника , лобно-височная деменция , рак яичников , ожирение . Часы старения планировалось выпустить для публичного использования в 2021 году дочерней компанией Insilico Medicine Deep Longevity.

Связь с когнитивными способностями и развитием мозга человека

Глубокое обучение тесно связано с классом теорий развития мозга (в частности, развития неокортекса), предложенных когнитивными нейробиологами в начале 1990-х годов. Эти теории развития были воплощены в вычислительных моделях, что сделало их предшественниками систем глубокого обучения. Эти модели развития обладают тем общим свойством, что различные предполагаемые динамики обучения в мозге (например, волна фактора роста нервов ) поддерживают самоорганизацию, в некоторой степени аналогичную нейронным сетям, используемым в моделях глубокого обучения. Как и неокортекс , нейронные сети используют иерархию многоуровневых фильтров, в которой каждый уровень рассматривает информацию из предыдущего уровня (или операционной среды), а затем передает ее выходные данные (и, возможно, исходные входные данные) на другие уровни. В результате этого процесса получается самоорганизующийся набор датчиков , хорошо настроенный к рабочей среде. В описании 1995 года говорилось: «...мозг младенца, по-видимому, самоорганизуется под влиянием волн так называемых трофических факторов... различные области мозга соединяются последовательно, при этом один слой ткани созревает раньше другого и так до тех пор, пока весь мозг не созреет».

Для исследования правдоподобности моделей глубокого обучения с нейробиологической точки зрения использовались различные подходы. С одной стороны, обратного распространения ошибки с целью повышения реалистичности его обработки. было предложено несколько вариантов алгоритма Другие исследователи утверждают, что неконтролируемые формы глубокого обучения, например, основанные на иерархических генеративных моделях и сетях глубоких убеждений , могут быть ближе к биологической реальности. В этом отношении модели генеративных нейронных сетей связаны с нейробиологическими данными об обработке данных в коре головного мозга на основе выборки.

Хотя систематическое сравнение между организацией человеческого мозга и кодированием нейронов в глубоких сетях еще не проведено, сообщалось о нескольких аналогиях. Например, вычисления, выполняемые модулями глубокого обучения, могут быть аналогичны вычислениям реальных нейронов. и нейронные популяции. Точно так же представления, разработанные моделями глубокого обучения, аналогичны тем, которые измеряются в зрительной системе приматов. оба в одном блоке и у населения уровни.

Коммерческая деятельность

Facebook Лаборатория искусственного интеллекта выполняет такие задачи, как автоматическая пометка загруженных изображений именами людей на них.

компании Google Компания DeepMind Technologies разработала систему, способную научиться играть Atari, в видеоигры используя в качестве входных данных только пиксели. В 2015 году они продемонстрировали свою систему AlphaGo , которая достаточно хорошо изучила игру в го, чтобы победить профессионального игрока в го. Google Translate использует нейронную сеть для перевода более чем на 100 языков.

В 2017 году был запущен Covariant.ai, целью которого является интеграция глубокого обучения в фабрики.

По состоянию на 2008 год Исследователи из Техасского университета в Остине (Юта) разработали систему машинного обучения под названием «Обучение агента вручную с помощью оценочного подкрепления» или TAMER, которая предложила новые методы, позволяющие роботам или компьютерным программам научиться выполнять задачи, взаимодействуя с человеком-инструктором. Новый алгоритм под названием Deep TAMER, впервые разработанный как TAMER, был позже представлен в 2018 году в ходе сотрудничества между Исследовательской лабораторией армии США (ARL) и исследователями UT. Deep TAMER использовал глубокое обучение, чтобы предоставить роботу возможность изучать новые задачи посредством наблюдения. Используя Deep TAMER, робот обучался заданию вместе с тренером-человеком, просматривая видеопотоки или наблюдая, как человек выполняет задание лично. Позже робот попрактиковался в выполнении задания под руководством тренера, который давал такие отзывы, как «хорошая работа» и «плохая работа».

Критика и комментарии

Глубокое обучение вызвало как критику, так и комментарии, в некоторых случаях за пределами области информатики.

Теория

См. Также: Объяснимый искусственный интеллект.

Основная критика касается отсутствия теории вокруг некоторых методов. Обучение в наиболее распространенных глубоких архитектурах реализуется с помощью хорошо понятного градиентного спуска. Однако теория других алгоритмов, таких как контрастивная дивергенция, менее ясна. (например, сходится ли оно? Если да, то как быстро? Что оно аппроксимирует?) Методы глубокого обучения часто рассматриваются как черный ящик , причем большинство подтверждений делается эмпирически, а не теоретически.

Другие отмечают, что глубокое обучение следует рассматривать как шаг к созданию сильного ИИ , а не как всеобъемлющее решение. Несмотря на мощь методов глубокого обучения, им все еще не хватает функциональности, необходимой для полной реализации этой цели. Психолог-исследователь Гэри Маркус отметил:

На самом деле глубокое обучение — это лишь часть более масштабной задачи создания интеллектуальных машин. В таких методах отсутствуют способы представления причинно-следственных связей (...), нет очевидных способов выполнения логических выводов , а также они еще далеки от интеграции абстрактных знаний, таких как информация о том, что представляют собой объекты, для чего они предназначены и как они обычно используются. Самые мощные системы искусственного интеллекта, такие как Watson (...), используют такие методы, как глубокое обучение, как лишь один элемент в очень сложном ансамбле методов, начиная от статистического метода байесовского вывода и заканчивая дедуктивным рассуждением .

В качестве дальнейшей ссылки на идею о том, что художественная чувствительность может быть присуща относительно низким уровням когнитивной иерархии, опубликована серия графических изображений внутренних состояний глубоких (20-30 слоев) нейронных сетей, пытающихся различить среди по существу случайных данных изображения. на котором они обучались продемонстрировать визуальную привлекательность: оригинальное уведомление об исследовании получило более 1000 комментариев и стало темой статьи, которая какое-то время была наиболее часто доступной статьей в The Guardian . веб-сайт.

Ошибки

Некоторые архитектуры глубокого обучения демонстрируют проблемное поведение. например, уверенное отнесение неузнаваемых изображений к знакомой категории обычных изображений (2014). и неправильная классификация мельчайших искажений правильно классифицированных изображений (2013). Герцель предположил, что такое поведение обусловлено ограничениями их внутренних представлений и что эти ограничения будут препятствовать интеграции в гетерогенные многокомпонентные общего искусственного интеллекта (AGI). архитектуры Эти проблемы, возможно, могут быть решены с помощью архитектур глубокого обучения, которые внутри формируют состояния, гомологичные грамматике изображения. декомпозиции наблюдаемых сущностей и событий. Изучение грамматики (визуальной или лингвистической) на основе обучающих данных было бы эквивалентно ограничению системы рассуждениями здравого смысла , которые оперируют понятиями с точки зрения грамматических правил производства и являются основной целью как овладения человеческим языком, так и и искусственный интеллект (ИИ).

Киберугроза

По мере того как глубокое обучение выходит из лабораторий в мир, исследования и опыт показывают, что искусственные нейронные сети уязвимы для хакерских атак и обмана. Выявив закономерности, которые эти системы используют для функционирования, злоумышленники могут изменить входные данные ИНС таким образом, что ИНС найдет совпадение, которое люди-наблюдатели не смогут распознать. Например, злоумышленник может внести незначительные изменения в изображение, так что ИНС найдет совпадение, даже если для человека изображение выглядит совсем не так, как цель поиска. Такая манипуляция называется «состязательной атакой».

В 2016 году исследователи использовали одну ИНС для обработки изображений методом проб и ошибок, определения фокусных точек другой сети и, таким образом, создания изображений, которые ее обманули. Модифицированные изображения ничем не отличались от человеческих глаз. Другая группа показала, что распечатки сфальсифицированных изображений, которые затем были сфотографированы, успешно обманули систему классификации изображений. Одним из способов защиты является обратный поиск изображений, при котором возможное поддельное изображение отправляется на такой сайт, как TinEye , который затем может найти другие его экземпляры. Уточнение состоит в том, чтобы искать, используя только части изображения, чтобы идентифицировать изображения, из которых эта часть могла быть взята .

Другая группа показала, что некоторые психоделические зрелища могут обмануть систему распознавания лиц , заставив ее думать, что обычные люди — знаменитости, что потенциально позволяет одному человеку выдавать себя за другого. В 2017 году исследователи добавили наклейки на знаки остановки , из-за чего ANN неправильно их классифицировала.

Однако ИНС можно дополнительно обучить обнаружению попыток обмана , что потенциально может привести злоумышленников и защитников к гонке вооружений, подобной той, которая уже определяет индустрию защиты от вредоносного ПО . ИНС обучены побеждать антивирусное программное обеспечение на основе ИНС, неоднократно атакуя защиту с помощью вредоносного ПО, которое постоянно изменялось генетическим алгоритмом, пока оно не обмануло антивирусное ПО, сохраняя при этом свою способность наносить ущерб цели.

В 2016 году другая группа продемонстрировала, что определенные звуки могут заставить систему голосовых команд Google Now открыть определенный веб-адрес, и предположила, что это может «послужить трамплином для дальнейших атак (например, открытие веб-страницы, на которой размещено вредоносное ПО). ".

При « отравлении данных » ложные данные постоянно вводятся в обучающий набор системы машинного обучения, чтобы помешать ей достичь мастерства.

Этика сбора данных

Большинство систем глубокого обучения полагаются на данные обучения и проверки, которые генерируются и/или аннотируются людьми. утверждается В философии СМИ , что для этой цели регулярно используется не только низкооплачиваемая работа с кликами (например, на Amazon Mechanical Turk ), но и неявные формы человеческой микроработы , которые часто не признаются как таковые. Философ Райнер Мюльхофф выделяет пять типов «машинного захвата» микроработы человека для генерации обучающих данных: (1) геймификация (встраивание аннотаций или вычислительных задач в ход игры), (2) «перехват и отслеживание» (например, CAPTCHA для распознавания изображений или отслеживания кликов на страницах результатов поиска Google ), (3) использование социальных мотивов (например, пометка лиц на Facebook для получения маркированных изображений лиц), (4) интеллектуальный анализ информации (например, путем использования устройств количественной самооценки , таких как трекеры активности ) и (5) кликворк .

Мюльхофф утверждает, что в большинстве коммерческих приложений глубокого обучения для конечных пользователей, таких как система распознавания лиц Facebook , потребность в обучающих данных не прекращается после обучения ИНС. Скорее, существует постоянный спрос на данные проверки, созданные человеком, для постоянной калибровки и обновления ИНС. С этой целью Facebook представил функцию: как только пользователь автоматически распознается на изображении, он получает уведомление. Они могут выбрать, хотят ли они, чтобы их публично отмечали на изображении, или сказать Facebook, что на изображении не они. Этот пользовательский интерфейс представляет собой механизм генерации «постоянного потока проверочных данных». для дальнейшего обучения сети в режиме реального времени. Как утверждает Мюльхофф, участие пользователей-людей для создания данных обучения и проверки настолько типично для большинства коммерческих приложений глубокого обучения для конечных пользователей, что такие системы можно назвать «искусственным интеллектом, управляемым человеком».

См. также

• Приложения искусственного интеллекта
• Сравнение программного обеспечения глубокого обучения
• Сжатое зондирование
• Дифференцируемое программирование
• Государственная сеть Эхо
• Список проектов искусственного интеллекта
• Машина жидкого состояния
• Список наборов данных для исследований в области машинного обучения
• Резервные вычисления
• Масштабирование пространства и глубокое обучение
• Разреженное кодирование
• Стохастический попугай
• Топологическое глубокое обучение

Дальнейшее чтение

• Бишоп Кристофер М.; Бишоп, Хью (2024). Глубокое обучение: основы и концепции . Спрингер. ISBN  978-3-031-45467-7 .
• Принс, Саймон Джей Ди (2023). Понимание глубокого обучения . Массачусетский технологический институт Пресс. ISBN  9780262048644 .
• Гудфеллоу, Ян ; Бенджио, Йошуа ; Курвиль, Аарон (2016). Глубокое обучение . МТИ Пресс. ISBN  978-0-26203561-3 . Архивировано из оригинала 16 апреля 2016 г. Проверено 9 мая 2021 г. , вводный учебник. {{cite book}}: CS1 maint: постскриптум ( ссылка )