Дистилляция знаний

В машинном обучении дистилляция знаний или дистилляция модели — это процесс переноса знаний из большой модели в меньшую. Хотя большие модели (такие как очень глубокие нейронные сети или ансамбли многих моделей) обладают большей емкостью знаний, чем маленькие модели, эти возможности могут быть использованы не полностью. Оценка модели может оказаться столь же дорогостоящей в вычислительном отношении, даже если она использует мало своих знаний. Дистилляция знаний переносит знания из большой модели в меньшую без потери достоверности . Поскольку оценка меньших моделей обходится дешевле, их можно развертывать на менее мощном оборудовании (например, на мобильном устройстве ).

Фильтрация знаний успешно использовалась в нескольких приложениях машинного обучения, таких как обнаружение объектов , акустические модели , и обработка естественного языка . Недавно он также был введен в графические нейронные сети, применимые к несеточным данным.

Концепция дистилляции

Перенос знаний из большой модели в маленькую каким-то образом должен научить последней без потери валидности. Если обе модели обучаются на одних и тех же данных, у меньшей модели может быть недостаточно возможностей для изучения краткого представления знаний по сравнению с большой моделью. Однако некоторая информация о кратком представлении знаний кодируется в псевдовероятностях , присвоенных ее выходным данным: когда модель правильно предсказывает класс, она присваивает большое значение выходной переменной, соответствующей такому классу, и меньшие значения другим выходным переменным. Распределение значений между выходными данными записи предоставляет информацию о том, как большая модель представляет знания. Таким образом, цель экономичного развертывания действительной модели может быть достигнута путем обучения только большой модели на данных, использования ее лучшей способности изучать краткие представления знаний, а затем выделения таких знаний в меньшую модель, обучая ее изучению мягкий вывод большой модели.

Связанной методологией было модели сжатие или сокращение , при котором размер обученной сети уменьшается с помощью таких методов, как смещение веса. и оптимальное повреждение головного мозга.

Идея использования результатов одной нейронной сети для обучения другой нейронной сети была изучена как конфигурация сети учитель-ученик. В 1992 году в нескольких статьях изучалась статистическая механика конфигурации сети учитель-ученик, где обе сети представляют собой комитетные машины. или оба являются машинами четности.

Еще один ранний пример сетевой дистилляции был также опубликован в 1992 году в области рекуррентных нейронных сетей (RNN). Проблема заключалась в предсказании последовательности. Проблема была решена двумя RNN. Один из них ( атомайзер ) предсказал последовательность, а другой ( чанкер ) предсказал ошибки атомайзера. Одновременно атомайзер предсказывал внутренние состояния чанкера. После того, как атомайзеру удастся хорошо предсказать внутренние состояния чанкера, он начнет исправлять ошибки, и вскоре чанкер устареет, оставив в конце концов только один RNN.

Соответствующая методология сжатия знаний нескольких моделей в единую нейронную сеть в 2006 году называлась сжатием моделей : сжатие достигалось путем обучения меньшей модели на больших объемах псевдоданных, помеченных более высокопроизводительным ансамблем, с оптимизацией для соответствия логиту . сжатой модели к логиту ансамбля. Фильтрация знаний является обобщением такого подхода, предложенного Джеффри Хинтоном и др. в 2015 году, в препринте , в котором сформулирована концепция и показаны некоторые результаты, достигнутые в задаче классификации изображений .

Дистилляция знаний также связана с концепцией поведенческого клонирования, обсуждаемой Фаразом Тораби и др. ал.

Формулировка

Учитывая большую модель как функцию векторной переменной $\mathbf {x}$, обученный для конкретной задачи классификации , обычно последний уровень сети представляет собой softmax в форме

$y_{i}(\mathbf {x} |t)={\frac {e^{\frac {z_{i}(\mathbf {x} )}{t}}}{\sum _{j}e^{\frac {z_{j}(\mathbf {x} )}{t}}}}$

где $t$ — температура , параметр, для которого установлено значение 1 для стандартного softmax. Оператор softmax преобразует логита значения $z_{i}(\mathbf {x} )$ к псевдовероятностям: более высокие значения температуры приводят к более мягкому распределению псевдовероятностей среди выходных классов. Фильтрация знаний состоит из обучения меньшей сети, называемой дистиллированной моделью , на наборе данных , называемом набором передачи (который отличается от набора данных, используемого для обучения большой модели), с использованием перекрестной энтропии в качестве функции потерь между выходными данными дистиллированная модель $\mathbf {y} (\mathbf {x} |t)$ и выходные данные большой модели ${\hat {\mathbf {y} }}(\mathbf {x} |t)$ для одной и той же записи (или среднего значения отдельных выходных данных, если большая модель представляет собой ансамбль), используя высокое значение температуры softmax. $t$ для обеих моделей

$E(\mathbf {x} |t)=-\sum _{i}{\hat {y}}_{i}(\mathbf {x} |t)\log y_{i}(\mathbf {x} |t).$

В этом контексте высокая температура увеличивает энтропию выходных данных, тем самым предоставляя больше информации для изучения дистиллированной модели по сравнению с жесткими целями и в то же время уменьшая дисперсию градиента между различными записями, что обеспечивает более высокую скорость обучения. .

Если для передаточного набора доступны основные данные, процесс можно усилить, добавив к потерям перекрестную энтропию между выходными данными дистиллированной модели (вычисленную с помощью $t=1$), и известная метка ${\bar {y}}$

$E(\mathbf {x} |t)=-t^{2}\sum _{i}{\hat {y}}_{i}(\mathbf {x} |t)\log y_{i}(\mathbf {x} |t)-\sum _{i}{\bar {y}}_{i}\log {\hat {y}}_{i}(\mathbf {x} |1)$

где компонент потерь по отношению к большой модели взвешивается с коэффициентом $t^{2}$ поскольку при повышении температуры градиент потерь по отношению к весам модели масштабируется в раз ${\frac {1}{t^{2}}}$.

Связь со сжатием модели

В предположении, что логиты имеют нулевое среднее значение , можно показать, что сжатие модели является частным случаем дистилляции знаний. Градиент потерь при дистилляции знаний $E$ относительно логита дистиллированной модели $z_{i}$ дается

${\begin{aligned}{\frac {\partial }{\partial z_{i}}}E&=-{\frac {\partial }{\partial z_{i}}}\sum _{j}{\hat {y}}_{j}\log y_{j}\\&=-{\frac {\partial }{\partial z_{i}}}{\hat {y}}_{i}\log y_{i}+\left(-{\frac {\partial }{\partial z_{i}}}\sum _{k\neq i}{\hat {y}}_{k}\log y_{k}\right)\\&=-{\hat {y}}_{i}{\frac {1}{y_{i}}}{\frac {\partial }{\partial z_{i}}}y_{i}+\sum _{k\neq i}\left(-{\hat {y}}_{k}\cdot {\frac {1}{y_{k}}}\cdot e^{\frac {z_{k}}{t}}\cdot \left(-{\frac {1}{\left(\sum _{j}e^{\frac {z_{j}}{t}}\right)^{2}}}\right)\cdot e^{\frac {z_{i}}{t}}\cdot {\frac {1}{t}}\right)\\&=-{\hat {y}}_{i}{\frac {1}{y_{i}}}{\frac {\partial }{\partial z_{i}}}{\frac {e^{\frac {z_{i}}{t}}}{\sum _{j}e^{\frac {z_{j}}{t}}}}+\sum _{k\neq i}\left({\hat {y}}_{k}\cdot {\frac {1}{y_{k}}}\cdot y_{k}\cdot y_{i}\cdot {\frac {1}{t}}\right)\\&=-{\hat {y}}_{i}{\frac {1}{y_{i}}}\left({\frac {{\frac {1}{t}}e^{\frac {z_{i}}{t}}\sum _{j}e^{\frac {z_{j}}{t}}-{\frac {1}{t}}\left(e^{\frac {z_{i}}{t}}\right)^{2}}{\left(\sum _{j}e^{\frac {z_{j}}{t}}\right)^{2}}}\right)+{\frac {y_{i}\sum _{k\neq i}{\hat {y}}_{k}}{t}}\\&=-{\hat {y}}_{i}{\frac {1}{y_{i}}}\left({\frac {y_{i}}{t}}-{\frac {y_{i}^{2}}{t}}\right)+{\frac {y_{i}(1-{\hat {y}}_{i})}{t}}\\&={\frac {1}{t}}\left(y_{i}-{\hat {y}}_{i}\right)\\&={\frac {1}{t}}\left({\frac {e^{\frac {z_{i}}{t}}}{\sum _{j}e^{\frac {z_{j}}{t}}}}-{\frac {e^{\frac {{\hat {z}}_{i}}{t}}}{\sum _{j}e^{\frac {{\hat {z}}_{j}}{t}}}}\right)\\\end{aligned}}$

где ${\hat {z}}_{i}$ являются логитами большой модели. Для больших значений $t$ это можно аппроксимировать как

${\frac {1}{t}}\left({\frac {1+{\frac {z_{i}}{t}}}{N+\sum _{j}{\frac {z_{j}}{t}}}}-{\frac {1+{\frac {{\hat {z}}_{i}}{t}}}{N+\sum _{j}{\frac {{\hat {z}}_{j}}{t}}}}\right)$

и при гипотезе нулевого среднего $\sum _{j}z_{j}=\sum _{j}{\hat {z}}_{j}=0$ это становится ${\frac {z_{i}-{\hat {z}}_{i}}{NT^{2}}}$, что является производной от ${\frac {1}{2}}\left(z_{i}-{\hat {z}}_{i}\right)^{2}$, т. е. потеря эквивалентна сопоставлению логитов двух моделей, как это делается при сжатии моделей.

Внешние ссылки

• Переработка знаний в нейронной сети – Google AI