Обучение с подкреплением на основе отзывов людей

В машинном обучении обучение с подкреплением на основе обратной связи с человеком ( RLHF ) — это метод согласования с интеллектуального агента предпочтениями человека. В классическом обучении с подкреплением цель такого агента — изучить функцию, которая управляет его поведением, называемую политикой . Эта функция учится максимизировать вознаграждение, которое она получает от отдельной функции вознаграждения, в зависимости от выполнения своей задачи. Однако трудно явно определить функцию вознаграждения, которая бы аппроксимировала человеческие предпочтения. Поэтому RLHF стремится обучать «модель вознаграждения» непосредственно на основе отзывов людей . Модель вознаграждения сначала обучается контролируемым образом — независимо от оптимизируемой политики — для прогнозирования, будет ли ответ на заданное приглашение хорошим (высокое вознаграждение) или плохим (низкое вознаграждение) на основе данных ранжирования, собранных от людей -аннотаторов . Эта модель затем используется в качестве функции вознаграждения для улучшения политики агента с помощью алгоритма оптимизации, такого как оптимизация проксимальной политики .

RLHF имеет приложения в различных областях машинного обучения, включая задачи обработки естественного языка, такие как суммирование текста и диалоговые агенты , компьютерного зрения, задачи такие как модели преобразования текста в изображение , и разработку ботов для видеоигр . Хотя RLHF является эффективным методом обучения моделей, чтобы они лучше действовали в соответствии с предпочтениями человека, он также сталкивается с проблемами из-за способа сбора данных о предпочтениях человека. Хотя RLHF не требует огромных объемов данных для повышения производительности, поиск высококачественных данных о предпочтениях по-прежнему остается дорогостоящим процессом. Более того, если данные не будут тщательно собраны из репрезентативной выборки , полученная модель может иметь нежелательные искажения .

Общий обзор обучения с подкреплением на основе отзывов людей

Предыстория и мотивация

Оптимизация модели на основе отзывов людей желательна, когда задачу сложно определить, но легко оценить. Например, можно захотеть научить модель генерировать безопасный текст, который будет одновременно полезным и безвредным (например, без предвзятости , токсичности или иного вредного контента). Попросить людей вручную создать примеры безобидного и вредного текста будет сложно и отнимет много времени. Однако люди умеют быстро оценивать и сравнивать вредность различных текстов, сгенерированных ИИ. Следовательно, более практической целью было бы позволить модели использовать этот тип обратной связи от человека для улучшения генерации текста.

Несмотря на явные преимущества включения обратной связи с людьми в модели обучения, предыдущие попытки, в том числе те, которые используют обучение с подкреплением , столкнулись со значительными проблемами. Большинство попыток были либо узкими и трудными для обобщения, разбиваясь на более сложные задачи, либо или они сталкивались с трудностями в обучении с помощью скудных (отсутствие конкретной информации и одновременного использования больших объемов текста) или шумных (непоследовательное вознаграждение за аналогичные результаты) функций вознаграждения.

RLHF не был первым успешным методом использования человеческой обратной связи для обучения с подкреплением, но он является одним из наиболее широко используемых. Основание для RLHF было задумано как попытка создать общий алгоритм обучения на основе практической обратной связи от людей. Используемый сегодня алгоритм был представлен OpenAI в статье об улучшении продолжения или обобщения текста на основе отзывов людей, и он начал набирать популярность, когда тот же метод был повторно использован в их статье об InstructGPT . Также было показано, что RLHF повышает надежность агентов RL и их способность к исследованию , что приводит к тому, что процесс оптимизации более умело справляется с неопределенностью и эффективно исследует свою среду в поисках наивысшего вознаграждения.

Сбор отзывов людей

Обратная связь с людьми обычно собирается путем предложения людям ранжировать примеры поведения агента. Эти рейтинги затем можно использовать для оценки результатов, например, с помощью рейтинговой системы Эло , которая представляет собой алгоритм расчета относительных уровней навыков игроков в игре на основе только результата каждой игры. Хотя ранжирование результатов является наиболее широко распространенной формой обратной связи, в недавних исследованиях были изучены и другие формы, такие как числовая обратная связь, обратная связь на естественном языке и побуждение к прямому редактированию выходных данных модели.

Одной из первоначальных мотиваций RLHF было то, что для эффективности требуется относительно небольшой объем сравнительных данных. Было показано, что небольшой объем данных может привести к результатам, сопоставимым с большим объемом. Кроме того, увеличение объема данных имеет тенденцию быть менее эффективным, чем пропорциональное увеличение размера модели вознаграждения. Тем не менее, больший и более разнообразный объем данных может иметь решающее значение для задач, где важно избежать предвзятости со стороны частично репрезентативной группы аннотаторов.

при обучении на основе обратной связи человека посредством парных сравнений в рамках модели Брэдли-Терри-Люса (или модели Плакетта-Люса для K-образных сравнений более чем двух сравнений) оценка максимального правдоподобия Было показано, что (MLE) для линейных функций вознаграждения показывает сходятся , если данные сравнения генерируются в соответствии с четко определенной линейной моделью . Это означает, что при определенных условиях, если модель обучена решать, какой выбор люди предпочтут из пар (или групп) вариантов, она обязательно улучшится в прогнозировании будущих предпочтений. Это улучшение ожидается до тех пор, пока сравнения, на которых он учится, основаны на последовательном и простом правиле.

Обе модели сбора данных в автономном режиме, в которых модель обучается путем взаимодействия со статическим набором данных и пакетного обновления своей политики, а также модели сбора данных в режиме онлайн, в которых модель напрямую взаимодействует с динамической средой и немедленно обновляет свою политику, были математически изучал доказательство границ сложности выборки для RLHF в рамках различных моделей обратной связи.

В модели автономного сбора данных, когда целью является обучение политике, наиболее эффективным является пессимистический MLE, который включает нижнюю доверительную границу в качестве оценки вознаграждения. Более того, было показано, что, когда это применимо, непосредственное рассмотрение K-сравнений асимптотически более эффективно, чем преобразование их в парные сравнения в целях прогнозирования.

алгоритма В онлайн-сценарии, когда отзывы людей собираются посредством парных сравнений в рамках модели Брэдли-Терри-Люса и цель состоит в том, чтобы минимизировать сожаление (разница в производительности по сравнению с оптимальным агентом), было показано, что оптимистичный MLE который включает верхнюю доверительную границу , поскольку оценку вознаграждения можно использовать для разработки эффективных выборочных алгоритмов (это означает, что они требуют относительно небольшого количества обучающих данных). Ключевая проблема RLHF при обучении на основе парных (или дуэльных) сравнений связана с немарковской природой ее оптимальных политик. В отличие от более простых сценариев, где оптимальная стратегия не требует памяти о прошлых действиях, в RLHF лучший образ действий часто зависит от предыдущих событий и решений, что делает стратегию по своей сути зависимой от памяти.

Приложения

RLHF применялся к различным областям обработки естественного языка (NLP), таким как разговорные агенты, обобщение текста и понимание естественного языка. Обычное обучение с подкреплением, при котором агенты учатся на своих действиях на основе предопределенной «функции вознаграждения», трудно применимо к задачам НЛП, поскольку вознаграждения, как правило, трудно определить или измерить, особенно при решении сложных задач, включающих человеческие ценности или предпочтения. RLHF может управлять моделями НЛП, в частности языковыми моделями , для предоставления ответов, которые соответствуют предпочтениям человека в отношении таких задач, заранее фиксируя их предпочтения в модели вознаграждения. В результате получается модель, способная генерировать более релевантные ответы и отклонять неуместные или нерелевантные запросы. Некоторыми яркими примерами языковых моделей, обученных с помощью RLHF, являются ( OpenAI ChatGPT и его предшественник InstructGPT ), DeepMind Воробей ​ , Google Близнецы ​ , и Anthropic из Клод .

В компьютерном зрении RLHF также использовался для согласования моделей текста и изображения . Исследования, в которых RLHF успешно использовалась для этой цели, отметили, что использование регуляризации KL в RLHF, направленное на предотвращение слишком далекого отклонения изученной политики от несогласованной модели, помогло стабилизировать процесс обучения за счет уменьшения переобучения модели вознаграждения. Было отмечено, что окончательные выходные изображения моделей, обученных с помощью KL-регуляризации, были значительно более высокого качества, чем модели, обученные без нее. Другие методы пытались включить обратную связь посредством более прямого обучения — основанного на максимизации вознаграждения без использования обучения с подкреплением — но допускали, что подход на основе RLHF, вероятно, будет работать лучше из-за генерации онлайн-выборок, используемой в RLHF во время обновлений, а также вышеупомянутая регуляризация KL по сравнению с предыдущей моделью, которая смягчает переобучение функции вознаграждения.

Первоначально RLHF применялся в других областях, таких как разработка ботов для видеоигр и задач по моделированию робототехники . Например, OpenAI и DeepMind обучали агентов играть в игры Atari , основываясь на предпочтениях человека. В классическом обучении таких ботов на основе RL функция вознаграждения просто коррелирует с тем, насколько хорошо агент работает в игре, обычно с использованием таких показателей, как игровой счет . Для сравнения, в RLHF человеку периодически предъявляются два ролика поведения агента в игре, и он должен решить, какой из них выглядит лучше. Этот подход может научить агентов работать на конкурентоспособном уровне, даже не имея доступа к своим оценкам. Фактически было показано, что RLHF иногда может привести к более высокой производительности по сравнению с RL с оценочными метриками, поскольку предпочтения человека могут содержать больше полезной информации, чем метрики, основанные на производительности. Агенты достигли высоких результатов во многих протестированных средах, часто превосходя возможности человека.

Обучение

В RLHF обучаются две разные модели: модель вознаграждения и политика обучения с подкреплением (RL). Модель вознаграждения учится определять, какое поведение желательно, на основе отзывов людей, в то время как политика руководствуется моделью вознаграждения для определения действий агента. Обе модели обычно инициализируются с использованием предварительно обученной модели авторегрессионного языка . Затем эта модель обычно обучается контролируемым образом на относительно небольшом наборе данных, состоящем из пар подсказок помощнику и сопровождающих их ответов, написанных аннотаторами-людьми. Модель вознаграждения выигрывает от того, что она начинается с предварительно обученной модели, поскольку она инициализируется с пониманием языка и фокусирует обучение непосредственно на изучении человеческих предпочтений, ускоряя процесс. Помимо использования для инициализации модели вознаграждения и политики RL, модель затем также используется для выборки данных для сравнения аннотаторами.

Затем модель вознаграждения обучается путем замены последнего слоя предыдущей модели случайно инициализированной головкой регрессии . Это изменение переводит модель с исходной задачи классификации по словарю на простой вывод числа, соответствующего оценке любого заданного запроса и ответа. Эта модель обучается на данных сравнения человеческих предпочтений, собранных ранее из контролируемой модели. В частности, его обучают минимизировать следующую функцию перекрестных энтропийных потерь, что побуждает его делать прогнозы, более близкие к фактическим человеческим рейтингам:

${\mathcal {L}}(\theta )=-{\frac {1}{K \choose 2}}E_{(x,y_{w},y_{l})}[\log(\sigma (r_{\theta }(x,y_{w})-r_{\theta }(x,y_{l})))]$

где $K$ это количество ответов, которые оценили маркировщики, $r_{\theta }(x,y)$ это результат модели вознаграждения за подсказку $x$ и завершение $y$, $y_{w}$ является предпочтительным завершением по сравнению с $y_{l}$, $\sigma (x)$ обозначает сигмовидную функцию , а $E[X]$ обозначает ожидаемое значение . Эта функция потерь по существу измеряет разницу между предсказаниями модели вознаграждения и решениями, принятыми людьми. Цель состоит в том, чтобы максимально приблизить предположения модели к предпочтениям людей, минимизируя разницу, измеряемую этим уравнением. В случае только парных сравнений коэффициент $1/{\tbinom {K}{2}}$ опущено. В противном случае все ${\tbinom {K}{2}}$ сравнения из каждой подсказки используются для обучения как один пакет . После обучения выходные данные модели нормализуются так, что эталонные завершения имеют средний балл 0.

Как и в модели вознаграждения, политика обратной связи с людьми также настраивается на основе предварительно обученной модели. Целью этого этапа тонкой настройки является адаптация уже существующей несогласованной модели (изначально обученной контролируемым образом) для лучшего соответствия человеческим предпочтениям путем корректировки ее параметров на основе вознаграждений, полученных в результате обратной связи с людьми. Выходные данные модели вознаграждения можно использовать в качестве вознаграждения, которое необходимо максимизировать с помощью RL для пар «подсказка-ответ». Среда случайным образом представляет политику с подсказками из набора данных и ожидает ответов на них, моделируя реальные сценарии, в которых агент должен понимать различные подсказки и генерировать соответствующие ответы. Обозначение изученной политики RL с помощью параметров $\phi$ как $\pi _{\phi }^{\text{RL}}$, мы можем определить следующую целевую функцию:

${\text{objective}}(\phi )=E_{(x,y)\sim D_{\pi _{\phi }^{\text{RL}}}}\left[r_{\theta }(x,y)-\beta \log \left({\frac {\pi _{\phi }^{\text{RL}}(y|x)}{\pi ^{\text{SFT}}(y|x)}}\right)\right]$

где $D_{\pi _{\phi }^{\text{RL}}}$ обучения, это распределение которое мы извлекаем и $\pi ^{\text{SFT}}$ — это ранее обученная несогласованная модель. Константа $\beta$ используется для регулировки интенсивности штрафного срока KL. Этот штраф применяется на основе каждого токена между политикой и выходными данными несогласованных моделей. Его цель — избежать чрезмерной тонкой настройки политики, гарантируя, что процесс обучения не будет чрезмерно специализировать модель на новых обучающих данных. Этот термин KL работает, наказывая расхождение KL (меру статистического расстояния между распределениями) между точно настраиваемой моделью и исходной контролируемой моделью. Выбрав подходящий $\beta$Обучение может сбалансировать обучение на новых данных, сохраняя при этом полезную информацию из исходной модели, увеличивая обобщение , избегая слишком близкого соответствия новым данным. Помимо предотвращения того, что новая модель дает результаты, слишком отличающиеся от результатов исходной модели, вторая мотивация включения термина KL состоит в том, чтобы позволить политике продолжить исследование окружающей среды путем поощрения дополнительной энтропии , которая может предотвратить коллапс модели до единой модели. режим .

Проще говоря, целевая функция рассчитывает, насколько хорошо реакция политики, как ожидается, будет соответствовать обратной связи между людьми. Политика генерирует ответы на подсказки, и каждый ответ оценивается как по тому, насколько хорошо он соответствует человеческим предпочтениям (по данным модели вознаграждения), так и по тому, насколько он похож на ответы, которые модель естественным образом генерирует. Цель состоит в том, чтобы сбалансировать улучшение соответствия человеческим предпочтениям, обеспечивая при этом, чтобы ответы модели оставались разнообразными и не слишком отклонялись от того, чему она научилась во время первоначального обучения. Это помогает модели не только давать ответы, которые люди находят полезными или приятными, но также поддерживать широкое понимание и избегать слишком узких или повторяющихся ответов.

К целевой функции обычно добавляется второй член, который позволяет политике включать градиенты предварительного обучения. Этот термин не дает модели потерять свою первоначальную способность понимать язык, пока она изучает новые задачи на основе отзывов людей, включая исходную задачу предварительного обучения по завершению текста. Окончательная целевая функция записывается как:

${\text{objective}}(\phi )=E_{(x,y)\sim D_{\pi _{\phi }^{\text{RL}}}}\left[r_{\theta }(x,y)-\beta \log \left({\frac {\pi _{\phi }^{\text{RL}}(y|x)}{\pi ^{\text{SFT}}(y|x)}}\right)\right]+\gamma E_{x\sim D_{\text{pretrain}}}[\log(\pi _{\phi }^{\text{RL}}(x))]$

где $\gamma$ контролирует силу этого дополнительного термина и $D_{\text{pretrain}}$ — это исходное текстовое распределение перед обучением. Эту целевую функцию затем можно напрямую использовать для обучения политики с использованием алгоритма оптимизации проксимальной политики .

В целом эта целевая функция определяет метод корректировки политики RL, сочетая цель согласования с обратной связью от человека и сохранения понимания исходного языка модели.

Ограничения

RLHF страдает от проблем со сбором отзывов людей, изучением модели вознаграждения и оптимизацией политики. Что касается сбора данных, масштабируемость и стоимость обратной связи от человека могут быть медленными и дорогостоящими по сравнению с обучением без учителя. Его качество и последовательность могут варьироваться в зависимости от задачи, интерфейса, а также предпочтений и предубеждений отдельных людей.

Эффективность RLHF зависит от качества обратной связи между людьми. Например, модель может стать предвзятой , отдавая предпочтение определенным группам перед другими, если обратная связь недостаточна беспристрастна, непоследовательна или неверна. Существует риск переоснащения , когда модель запоминает конкретные примеры обратной связи вместо того, чтобы учиться обобщать . Например, обратная связь преимущественно от определенной демографической группы может привести к тому, что модель усвоит особенности или шум, а также предполагаемое выравнивание. Чрезмерное соответствие конкретной полученной обратной связи (то есть предвзятости в ней) может привести к тому, что модель будет работать неоптимально в новых контекстах или при использовании разными группами. Одна функция вознаграждения не всегда может отражать мнения различных групп людей. Даже при репрезентативной выборке противоречивые взгляды и предпочтения могут привести к тому, что модель вознаграждения будет отдавать предпочтение мнению большинства, что потенциально поставит в невыгодное положение недостаточно представленные группы.

В некоторых случаях, как это возможно при обычном обучении с подкреплением , может возникнуть риск того, что модель научится манипулировать процессом обратной связи или обманывать систему для достижения более высоких наград вместо того, чтобы действительно улучшить ее производительность. В случае RLHF модель может научиться использовать тот факт, что ее вознаграждают за то, что оценивается положительно, а не обязательно за то, что на самом деле хорошо, что может привести к тому, что она научится убеждать и манипулировать. Например, модели могут понять, что кажущаяся уверенность, даже если она неточна, приносит более высокую награду. Такое поведение, если его не контролировать, не только стимулируется, но и может вызвать серьезные проблемы с развертыванием из-за того, что модель может вводить в заблуждение. Исследования показали, что люди не умеют выявлять ошибки в результатах LLM при выполнении сложных задач; поэтому модели, обучающиеся генерировать уверенно звучащий, но неверный текст, могут привести к серьезным проблемам при развертывании.

Альтернативы

обучение на основе

Как и в случае с RLHF, обучение с подкреплением на основе обратной связи ИИ (RLAIF) основано на обучении модели предпочтений, за исключением того, что обратная связь генерируется автоматически. Это особенно используется в Anthropic конституционном ИИ , где обратная связь ИИ основана на соответствии принципам конституции.

предпочтений

Другая альтернатива RLHF, называемая прямой оптимизацией предпочтений (DPO), была предложена для изучения человеческих предпочтений. Как и RLHF, он применялся для согласования предварительно обученных больших языковых моделей с использованием данных о предпочтениях, сгенерированных человеком. Однако в отличие от RLHF, который сначала обучает отдельную промежуточную модель, чтобы понять, как выглядят хорошие результаты, а затем обучает основную модель тому, как достичь этих результатов, DPO упрощает процесс, напрямую настраивая основную модель в соответствии с предпочтениями людей. Он использует замену переменных , чтобы определить « потерю предпочтений » непосредственно как функцию политики, и использует эту потерю для точной настройки модели, помогая ей понять и расставить приоритеты в отношении человеческих предпочтений без необходимости выполнения отдельного шага. По сути, этот подход напрямую формирует решения модели на основе положительных или отрицательных отзывов людей.

DPO проще внедрить и обучить, чем RLHF, и было показано, что он дает сопоставимые, а иногда и превосходящие результаты. Тем не менее, было также показано, что RLHF превосходит DPO в некоторых наборах данных, например, в тестах, которые пытаются измерить правдивость. Поэтому выбор метода может варьироваться в зависимости от особенностей данных предпочтений человека и характера задачи.

См. также

• Человек в курсе
• Выбор на основе вознаграждения